Papers & Forschung

CyberGym-E2E: Ein groß angelegter realer Benchmark für End-to-End-Cybersicherheitsfähigkeiten von KI-Agenten

Originaltitel:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities

KI-Zusammenfassung

CyberGym-E2E ist ein groß angelegter End-to-End-Cybersicherheitsbenchmark mit 920 realen Schwachstellen in 139 Open-Source-Projekten. Die Aufgabe verlangt, dass KI-Agenten in echten Codebasen selbstständig Schwachstellen lokalisieren, einen Proof-of-Concept zur Auslösung eines Absturzes erstellen und einen Patch schreiben. Tests zeigen: Wird die Schwachstellenposition direkt vorgegeben, kann die stärkste Konfiguration etwa 80 % der Schwachstellen beheben; muss sie jedoch selbst gefunden werden, sinkt die End-to-End-Erfolgsrate drastisch – Claude Opus 4.5 erreicht nur 19,2 %, die neuesten Modelle liegen zwischen 37 % und 66 %. Agenten können alternative Schwachstellen finden, und es gibt teilweise oberflächliche Patches. Alle Schwachstellen wurden zuvor öffentlich offengelegt und behoben.

Kernpunkte

  • CyberGym-E2E ist ein groß angelegter End-to-End-Cybersicherheitsbenchmark mit 920 realen…
  • Die Aufgabe verlangt,dass KI-Agenten in echten Codebasen selbstständig Schwachstellen…
  • Tests zeigen: Wird die Schwachstellenposition direkt vorgegeben,kann die stärkste Konfiguration…
  • muss sie jedoch selbst gefunden werden,sinkt die End-to-End-Erfolgsrate drastisch – Claude Opus 4.
  • 5 erreicht nur 19,2 %,die neuesten Modelle liegen zwischen 37 % und 66 %.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Berkeley RDI:Blog(AI 安全与评测)
Kategorie
Papers & Forschung
KI-Bewertung
74
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: CyberGym-E2E: Ein groß angelegter realer Benchmark für End-to-End-Cybersicherheitsfähigkeiten von KI-Agenten. 18. Juni 2026. https://new.nat6.net/de/news/cmqlhlm0t00b3sljgy5o93w0h/

Alle ansehen →