エージェント型コーディング評価におけるインフラ干渉を定量化
原題:Quantifying infrastructure noise in agentic coding evals
AI 要約
SWE-benchなどのエージェント型コーディングベンチマークでは、インフラ構成の差異がモデルスコアに与える影響が、リーダーボード上位モデル間のわずかな差を上回る可能性があることが研究で判明した。社内実験では、Terminal-Bench 2.0において最も厳格なリソース設定と最も緩い設定の間で成功率に6%の差があった。厳格な制限では約6%のタスクがコンテナの予期せぬ終了により失敗したが、緩い設定ではこうしたエラー率は0.5%まで低下した。リソース余裕がベンチマーク仕様の3倍を超えると、エージェントは追加リソースを活用して本来解決できないタスクを完了できる場合もあった。これは評価環境がテストの安定性だけでなく、ベンチマークが実際に測定する能力の次元をも変え得ることを示している。
要点
- SWE-benchなどのエージェント型コーディングベンチマークでは、インフラ構成の差異がモデルスコアに与える影響が、リーダーボード上位モデル間のわずかな差を上回る可能性があることが研究で判明した。
- 社内実験では、Terminal-Bench 2.
- 0において最も厳格なリソース設定と最も緩い設定の間で成功率に6%の差があった。
- 厳格な制限では約6%のタスクがコンテナの予期せぬ終了により失敗したが、緩い設定ではこうしたエラー率は0.
- 5%まで低下した。
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 74
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:エージェント型コーディング評価におけるインフラ干渉を定量化。2026年2月5日。https://new.nat6.net/ja/news/cmorb7ml0008bslhfiqfwufv7/