Berkeley RDI veröffentlicht Agents' Last Exam Benchmark
Originaltitel:Agents' Last Exam
KI-Zusammenfassung
Im Juni 2026 veröffentlichte Berkeley RDI den Benchmark Agents’ Last Exam (ALE) mit über 1.500 Aufgaben aus realen Arbeitsumgebungen in 55 nicht-physischen Berufen. Die Bewertung von Frontier-Agenten wie Fable 5, GPT-5.5 und Composer 2.5 zeigt: Auf der schwierigsten Stufe liegt die Erfolgsrate bei 0 %; die Gesamtleistung ist ähnlich, doch die Kosten pro Aufgabe unterscheiden sich stark (Fable 5 etwa 15,70 US-Dollar, GPT-5.5 etwa 3,80 US-Dollar, Composer 2.5 etwa 1,33 US-Dollar). Im CLI-Subset ALE-CLI liegt die beste Erfolgsrate bei nur 25,2 %. Das Hauptfehlermuster: Agenten erklären Aufgaben für erledigt, ohne die Ausgabe zu verifizieren. Datensatz, Code und CLI-Subset wurden als Open Source veröffentlicht.
Kernpunkte
- Im Juni 2026 veröffentlichte Berkeley RDI den Benchmark Agents’ Last Exam (ALE) mit über 1.
- 500 Aufgaben aus realen Arbeitsumgebungen in 55 nicht-physischen Berufen.
- Die Bewertung von Frontier-Agenten wie Fable 5,GPT-5.
- 5 und Composer 2.
- 5 zeigt: Auf der schwierigsten Stufe liegt die Erfolgsrate bei 0 %
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Berkeley RDI:Blog(AI 安全与评测)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 83
在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Berkeley RDI veröffentlicht Agents' Last Exam Benchmark. 15. Juni 2026. https://new.nat6.net/de/news/cmqfzukav0264slspmybg065u/