Hugging Faceが開放AIエージェントリーダーボード(Open Agent Leaderboard)を発表
原題:The Open Agent Leaderboard
AI 要約
Hugging Faceは開放AIエージェントリーダーボードを公開しました。基盤モデルのみではなく完全なエージェントシステムを比較し、成功率とタスクごとのコストを併せて報告します。リーダーボードは6つの既存ベンチマーク(SWE-Bench Verified、BrowseComp+、AppWorld、tau2-Bench Airline & Retail、tau2-Bench Telecom)を統一し、コード修正、ウェブリサーチ、個人タスク、カスタマーサービス、技術サポートをカバーしています。統一プロトコルにより、各エージェントシステムはすべてのベンチマークに同じインターフェースで接続します。結果として、同じモデルでも異なるエージェントシステムではスコアとコストが大きく異なることが示されました。付属のExgenticフレームワークは評価の実行と再現に用いられ、関連論文はオープンソース化されています。
要点
- Hugging Faceは開放AIエージェントリーダーボードを公開しました。
- 基盤モデルのみではなく完全なエージェントシステムを比較し、成功率とタスクごとのコストを併せて報告します。
- リーダーボードは6つの既存ベンチマーク(SWE-Bench Verified、BrowseComp+、AppWorld、tau2-Bench Airline & Retail、tau2-Bench…
- 統一プロトコルにより、各エージェントシステムはすべてのベンチマークに同じインターフェースで接続します。
- 結果として、同じモデルでも異なるエージェントシステムではスコアとコストが大きく異なることが示されました。
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 64
以后选agent不能只看模型跑分了,这个榜单把整个系统拉出来比,成本、失败成本全摊开,做agent的可以立刻去查自己架构差在哪。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Hugging Faceが開放AIエージェントリーダーボード(Open Agent Leaderboard)を発表。2026年5月18日。https://new.nat6.net/ja/news/cmpbbpl0f161tslnzxbl442c4/