バークレーRDI、Agents' Last Examベンチマークを発表
原題:Agents' Last Exam
AI 要約
2026年6月、バークレーRDIはAgents’ Last Exam(ALE)ベンチマークを発表した。実業務に由来する1,500以上のタスクを含み、55の非肉体労働職種をカバーする。Fable 5、GPT-5.5、Composer 2.5などの最先端エージェントによる評価では、最難関レベルでの成功率がいずれも0%だった。全体のタスク性能は近いものの、タスク単価の差は大きい(Fable 5は約15.70ドル、GPT-5.5は約3.80ドル、Composer 2.5は約1.33ドル)。CLIサブセットALE-CLIの最高通過率は25.2%にとどまった。主な失敗パターンは、エージェントが出力を検証せずに完了と宣言することだ。データセット、コード、CLIサブセットはオープンソース化されている。
要点
- 2026年6月、バークレーRDIはAgents’ Last Exam(ALE)ベンチマークを発表した。
- 実業務に由来する1,500以上のタスクを含み、55の非肉体労働職種をカバーする。
- Fable 5、GPT-5.
- 5、Composer 2.
- 5などの最先端エージェントによる評価では、最難関レベルでの成功率がいずれも0%だった。
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 83
おすすめの理由
在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:バークレーRDI、Agents' Last Examベンチマークを発表。2026年6月15日。https://new.nat6.net/ja/news/cmqfzukav0264slspmybg065u/