Статьи и исследования

CyberGym-E2E: масштабный реальный бенчмарк сквозных возможностей ИИ-агентов в кибербезопасности

Оригинальный заголовок:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities

ИИ-резюме

CyberGym-E2E — масштабный сквозной бенчмарк кибербезопасности, включающий 920 реальных уязвимостей в 139 проектах с открытым исходным кодом. Задача требует, чтобы ИИ-агент самостоятельно нашёл уязвимость в реальной кодовой базе, создал proof-of-concept, вызывающий сбой, и написал патч. Тесты показывают: если сразу указать расположение уязвимости, сильнейшая конфигурация исправляет около 80% уязвимостей; но если уязвимость нужно найти самостоятельно, сквозная успешность резко падает — у Claude Opus 4.5 всего 19,2%, у новейших моделей — от 37% до 66%. Агенты могут находить альтернативные уязвимости, а также встречаются частичные поверхностные патчи. Все уязвимости были заранее публично раскрыты и исправлены.

Ключевые моменты

  • CyberGym-E2E — масштабный сквозной бенчмарк кибербезопасности,включающий 920 реальных уязвимостей…
  • Задача требует,чтобы ИИ-агент самостоятельно нашёл уязвимость в реальной кодовой базе,создал…
  • Тесты показывают: если сразу указать расположение уязвимости,сильнейшая конфигурация исправляет…
  • но если уязвимость нужно найти самостоятельно,сквозная успешность резко падает — у Claude Opus 4.
  • 5 всего 19,2%,у новейших моделей — от 37% до 66%.

Кратко

Опубликовано
Обновлено
Источник
Berkeley RDI:Blog(AI 安全与评测)
Категория
Статьи и исследования
Оценка ИИ
74
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: CyberGym-E2E: масштабный реальный бенчмарк сквозных возможностей ИИ-агентов в кибербезопасности. 18 июня 2026. https://new.nat6.net/ru/news/cmqlhlm0t00b3sljgy5o93w0h/

Смотреть все →