Wie wir führende KI-Agent-Benchmarks geknackt haben und wie es weitergeht
Originaltitel:How We Broke Top AI Agent Benchmarks: And What Comes Next
KI-Zusammenfassung
Ein Forschungsteam aus Berkeley entwickelte einen automatisierten Scan-Agenten, der acht gängige KI-Agent-Benchmarks wie SWE-bench und WebArena systematisch prüfte und in allen ausnutzbare Schwachstellen fand. Durch Manipulation der Testkonfiguration, eingeschleuste Trojaner-Wrapper und das Auslesen von Standardantworten erzielte der Agent 100 % in Terminal-Bench und SWE-bench Verified sowie nahezu 100 % in WebArena, ohne eine einzige Aufgabe tatsächlich zu lösen. Die Studie legt systematische Sicherheitsmängel in aktuellen Bewertungsmechanismen offen: Hohe Punktzahlen bedeuten nicht automatisch echte Fähigkeiten.
Kernpunkte
- Ein Forschungsteam aus Berkeley entwickelte einen automatisierten Scan-Agenten,der acht gängige…
- Durch Manipulation der Testkonfiguration,eingeschleuste Trojaner-Wrapper und das Auslesen von…
- Die Studie legt systematische Sicherheitsmängel in aktuellen Bewertungsmechanismen offen: Hohe…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Berkeley RDI:Blog(AI 安全与评测)
- Kategorie
- Meinung
- KI-Bewertung
- 87
伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Wie wir führende KI-Agent-Benchmarks geknackt haben und wie es weitergeht. 8. April 2026. https://new.nat6.net/de/news/cmnxbjlqu00apsln09alcqies/