METR研究アップデート:アルゴリズム評価はAIエージェントの実際のソフトウェアエンジニアリング能力を過大評価
原題:Research Update: Algorithmic vs. Holistic Evaluation
AI 要約
METRはstdlib-jsとhypothesisの2リポジトリの18件の実際のissueでClaude 3.7 Sonnet(Inspect ReActエージェント)を評価した。メンテナのテストケースによるアルゴリズム評価の成功率は38%(±19%)だったが、人手レビューした15件のPRのうち直接マージできるものは1件もなかった。
要点
- METRはstdlib-jsとhypothesisの2リポジトリの18件の実際のissueでClaude 3.
- 7 Sonnet(Inspect ReActエージェント)を評価した。
- メンテナのテストケースによるアルゴリズム評価の成功率は38%(±19%)だったが、人手レビューした15件のPRのうち直接マージできるものは1件もなかった
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 61
おすすめの理由
METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:METR研究アップデート:アルゴリズム評価はAIエージェントの実際のソフトウェアエンジニアリング能力を過大評価。2025年8月13日。https://new.nat6.net/ja/news/cmtyo7nb703vbrog0wobc9ksx/