ITBench-AA:最先端の大規模言語モデルが初のエージェント企業ITタスクベンチマークで50%未満のスコア
原題:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
AI 要約
Artificial AnalysisとIBMが発表したITBench-AA SREベンチマークによると、すべての最先端大規模言語モデルのスコアは50%を超えなかった。Claude Opus 4.7(適応推論、最大努力)が47%で首位となり、GPT-5.5(xhigh)とQwen3.7 Maxがそれぞれ46%と42%を記録した。このテストは、ShellコマンドでKubernetesイベントのスナップショットを調査し、根本原因の診断を提出する必要がある59のエージェントタスクで構成される。主な発見は、モデルの推論ラウンド数に最大3倍近い差があるものの、より長い軌跡が高い精度にはつながらず、過度に調査するモデルは誤報の提出によりペナルティを受けることだ。コスト面では、オープンソースモデルのGemma 4 31B(Reasoning)がタスクあたり$0.14のコストで37%のスコアを獲得し、より高コストで低スコアのクローズドソースモデルを上回った。
要点
- Artificial AnalysisとIBMが発表したITBench-AA SREベンチマークによると、すべての最先端大規模言語モデルのスコアは50%を超えなかった。
- Claude Opus 4.
- 7(適応推論、最大努力)が47%で首位となり、GPT-5.
- 5(xhigh)とQwen3.
- 7 Maxがそれぞれ46%と42%を記録した。
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:ITBench-AA:最先端の大規模言語モデルが初のエージェント企業ITタスクベンチマークで50%未満のスコア。2026年5月28日。https://new.nat6.net/ja/news/cmpobyo1b04qeslv4jzefv5eu/