論文・研究

バークレーRDI、Agents' Last Examベンチマークを発表

原題:Agents' Last Exam

AI 要約

2026年6月、バークレーRDIはAgents’ Last Exam(ALE)ベンチマークを発表した。実業務に由来する1,500以上のタスクを含み、55の非肉体労働職種をカバーする。Fable 5、GPT-5.5、Composer 2.5などの最先端エージェントによる評価では、最難関レベルでの成功率がいずれも0%だった。全体のタスク性能は近いものの、タスク単価の差は大きい(Fable 5は約15.70ドル、GPT-5.5は約3.80ドル、Composer 2.5は約1.33ドル)。CLIサブセットALE-CLIの最高通過率は25.2%にとどまった。主な失敗パターンは、エージェントが出力を検証せずに完了と宣言することだ。データセット、コード、CLIサブセットはオープンソース化されている。

要点

  • 2026年6月、バークレーRDIはAgents’ Last Exam(ALE)ベンチマークを発表した。
  • 実業務に由来する1,500以上のタスクを含み、55の非肉体労働職種をカバーする。
  • Fable 5、GPT-5.
  • 5、Composer 2.
  • 5などの最先端エージェントによる評価では、最難関レベルでの成功率がいずれも0%だった。

概要

公開日時
更新日時
出典
Berkeley RDI:Blog(AI 安全与评测)
カテゴリ
論文・研究
AI スコア
83
原文を読む 情報源で全文を読む
おすすめの理由

在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:バークレーRDI、Agents' Last Examベンチマークを発表。2026年6月15日。https://new.nat6.net/ja/news/cmqfzukav0264slspmybg065u/

すべて見る →