论文与研究

CyberGym-E2E:AI智能体端到端网络安全能力的大规模真实世界基准

原文标题:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities

AI 摘要

CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。测试表明:若直接给出漏洞位置,最强配置可修复约80%漏洞;但若需自行发现,端到端成功率急剧下降——Claude Opus 4.5仅19.2%,最新模型在37%-66%之间。智能体可能发现替代漏洞,且存在部分浅层补丁。所有漏洞已事先公开披露并修复。

关键信息

  • CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。
  • 任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。
  • 测试表明:若直接给出漏洞位置,最强配置可修复约80%漏洞
  • 但若需自行发现,端到端成功率急剧下降——Claude Opus 4.
  • 2%,最新模型在37%-66%之间。

速览

发布时间
更新时间
来源
Berkeley RDI:Blog(AI 安全与评测)
分类
论文与研究
AI 评分
74
阅读原文 前往信息源阅读完整正文
推荐理由

伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:CyberGym-E2E:AI智能体端到端网络安全能力的大规模真实世界基准。2026年6月18日。https://new.nat6.net/news/cmqlhlm0t00b3sljgy5o93w0h/

查看全部 →