Articles et recherche

CyberGym-E2E : un benchmark réel à grande échelle pour les capacités de cybersécurité de bout en bout des agents IA

Titre original:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities

Résumé IA

CyberGym-E2E est un benchmark de cybersécurité de bout en bout à grande échelle comprenant 920 vulnérabilités réelles couvrant 139 projets open source. La tâche demande aux agents IA de localiser eux-mêmes les vulnérabilités dans une base de code réelle, de générer une preuve de concept déclenchant un crash et d'écrire un correctif. Les tests montrent que si l'emplacement de la vulnérabilité est fourni directement, la meilleure configuration corrige environ 80 % des vulnérabilités ; mais s'il faut la découvrir soi-même, le taux de réussite de bout en bout chute fortement : Claude Opus 4.5 n'atteint que 19,2 %, les modèles les plus récents se situant entre 37 % et 66 %. Les agents peuvent découvrir des vulnérabilités alternatives et produire des correctifs partiellement superficiels. Toutes les vulnérabilités ont été divulguées et corrigées au préalable.

Points clés

  • CyberGym-E2E est un benchmark de cybersécurité de bout en bout à grande échelle comprenant 920…
  • La tâche demande aux agents IA de localiser eux-mêmes les vulnérabilités dans une base de code…
  • Les tests montrent que si l'emplacement de la vulnérabilité est fourni directement,la meilleure…
  • mais s'il faut la découvrir soi-même,le taux de réussite de bout en bout chute fortement: Claude…
  • 5 n'atteint que 19,2 %,les modèles les plus récents se situant entre 37 % et 66 %.

En bref

Publié
Mis à jour
Source
Berkeley RDI:Blog(AI 安全与评测)
Catégorie
Articles et recherche
Score IA
74
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : CyberGym-E2E : un benchmark réel à grande échelle pour les capacités de cybersécurité de bout en bout des agents IA. 18. juin 2026. https://new.nat6.net/fr/news/cmqlhlm0t00b3sljgy5o93w0h/

Tout voir →