Papers & Forschung

Berkeley RDI veröffentlicht Agents' Last Exam Benchmark

Originaltitel:Agents' Last Exam

KI-Zusammenfassung

Im Juni 2026 veröffentlichte Berkeley RDI den Benchmark Agents’ Last Exam (ALE) mit über 1.500 Aufgaben aus realen Arbeitsumgebungen in 55 nicht-physischen Berufen. Die Bewertung von Frontier-Agenten wie Fable 5, GPT-5.5 und Composer 2.5 zeigt: Auf der schwierigsten Stufe liegt die Erfolgsrate bei 0 %; die Gesamtleistung ist ähnlich, doch die Kosten pro Aufgabe unterscheiden sich stark (Fable 5 etwa 15,70 US-Dollar, GPT-5.5 etwa 3,80 US-Dollar, Composer 2.5 etwa 1,33 US-Dollar). Im CLI-Subset ALE-CLI liegt die beste Erfolgsrate bei nur 25,2 %. Das Hauptfehlermuster: Agenten erklären Aufgaben für erledigt, ohne die Ausgabe zu verifizieren. Datensatz, Code und CLI-Subset wurden als Open Source veröffentlicht.

Kernpunkte

  • Im Juni 2026 veröffentlichte Berkeley RDI den Benchmark Agents’ Last Exam (ALE) mit über 1.
  • 500 Aufgaben aus realen Arbeitsumgebungen in 55 nicht-physischen Berufen.
  • Die Bewertung von Frontier-Agenten wie Fable 5,GPT-5.
  • 5 und Composer 2.
  • 5 zeigt: Auf der schwierigsten Stufe liegt die Erfolgsrate bei 0 %

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Berkeley RDI:Blog(AI 安全与评测)
Kategorie
Papers & Forschung
KI-Bewertung
83
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Berkeley RDI veröffentlicht Agents' Last Exam Benchmark. 15. Juni 2026. https://new.nat6.net/de/news/cmqfzukav0264slspmybg065u/

Alle ansehen →