CyberGym-E2E:AI智能体端到端网络安全能力的大规模真实世界基准
原文标题:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities
AI 摘要
CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。测试表明:若直接给出漏洞位置,最强配置可修复约80%漏洞;但若需自行发现,端到端成功率急剧下降——Claude Opus 4.5仅19.2%,最新模型在37%-66%之间。智能体可能发现替代漏洞,且存在部分浅层补丁。所有漏洞已事先公开披露并修复。
关键信息
- CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。
- 任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。
- 测试表明:若直接给出漏洞位置,最强配置可修复约80%漏洞
- 但若需自行发现,端到端成功率急剧下降——Claude Opus 4.
- 2%,最新模型在37%-66%之间。
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 74
推荐理由
伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:CyberGym-E2E:AI智能体端到端网络安全能力的大规模真实世界基准。2026年6月18日。https://new.nat6.net/news/cmqlhlm0t00b3sljgy5o93w0h/