Meinung

Wie wir führende KI-Agent-Benchmarks geknackt haben und wie es weitergeht

Originaltitel:How We Broke Top AI Agent Benchmarks: And What Comes Next

KI-Zusammenfassung

Ein Forschungsteam aus Berkeley entwickelte einen automatisierten Scan-Agenten, der acht gängige KI-Agent-Benchmarks wie SWE-bench und WebArena systematisch prüfte und in allen ausnutzbare Schwachstellen fand. Durch Manipulation der Testkonfiguration, eingeschleuste Trojaner-Wrapper und das Auslesen von Standardantworten erzielte der Agent 100 % in Terminal-Bench und SWE-bench Verified sowie nahezu 100 % in WebArena, ohne eine einzige Aufgabe tatsächlich zu lösen. Die Studie legt systematische Sicherheitsmängel in aktuellen Bewertungsmechanismen offen: Hohe Punktzahlen bedeuten nicht automatisch echte Fähigkeiten.

Kernpunkte

  • Ein Forschungsteam aus Berkeley entwickelte einen automatisierten Scan-Agenten,der acht gängige…
  • Durch Manipulation der Testkonfiguration,eingeschleuste Trojaner-Wrapper und das Auslesen von…
  • Die Studie legt systematische Sicherheitsmängel in aktuellen Bewertungsmechanismen offen: Hohe…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Berkeley RDI:Blog(AI 安全与评测)
Kategorie
Meinung
KI-Bewertung
87
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Wie wir führende KI-Agent-Benchmarks geknackt haben und wie es weitergeht. 8. April 2026. https://new.nat6.net/de/news/cmnxbjlqu00apsln09alcqies/

Alle ansehen →