CyberGym-E2E: масштабный реальный бенчмарк сквозных возможностей ИИ-агентов в кибербезопасности
Оригинальный заголовок:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities
ИИ-резюме
CyberGym-E2E — масштабный сквозной бенчмарк кибербезопасности, включающий 920 реальных уязвимостей в 139 проектах с открытым исходным кодом. Задача требует, чтобы ИИ-агент самостоятельно нашёл уязвимость в реальной кодовой базе, создал proof-of-concept, вызывающий сбой, и написал патч. Тесты показывают: если сразу указать расположение уязвимости, сильнейшая конфигурация исправляет около 80% уязвимостей; но если уязвимость нужно найти самостоятельно, сквозная успешность резко падает — у Claude Opus 4.5 всего 19,2%, у новейших моделей — от 37% до 66%. Агенты могут находить альтернативные уязвимости, а также встречаются частичные поверхностные патчи. Все уязвимости были заранее публично раскрыты и исправлены.
Ключевые моменты
- CyberGym-E2E — масштабный сквозной бенчмарк кибербезопасности,включающий 920 реальных уязвимостей…
- Задача требует,чтобы ИИ-агент самостоятельно нашёл уязвимость в реальной кодовой базе,создал…
- Тесты показывают: если сразу указать расположение уязвимости,сильнейшая конфигурация исправляет…
- но если уязвимость нужно найти самостоятельно,сквозная успешность резко падает — у Claude Opus 4.
- 5 всего 19,2%,у новейших моделей — от 37% до 66%.
Кратко
- Опубликовано
- Обновлено
- Источник
- Berkeley RDI:Blog(AI 安全与评测)
- Категория
- Статьи и исследования
- Оценка ИИ
- 74
伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: CyberGym-E2E: масштабный реальный бенчмарк сквозных возможностей ИИ-агентов в кибербезопасности. 18 июня 2026. https://new.nat6.net/ru/news/cmqlhlm0t00b3sljgy5o93w0h/