METR研究:SWE-bench Verifiedを通過したAI PRの約半数はメンテナがマージしない
原題:Many SWE-bench-Passing PRs Would Not Be Merged into Main
AI 要約
METRはscikit-learn、Sphinx、pytestのメンテナ4名に296件のAI生成PRをブラインドレビューさせ、SWE-bench Verifiedの自動スコアを通過したパッチの約半数がメインブランチにマージされないことを発見した。金標準ベースラインで正規化した後、メンテナのマージ率は平均で自動スコアより24.2ポイント低かった。研究は、AIパッチが人間の開発者のように反復フィードバックを得ていないため、これを能力の上限と断言すべきではないと強調する一方、ベンチマークスコアからエージェントの実用性を直接推測すると過大評価になる可能性があるとしている。
要点
- METRはscikit-learn、Sphinx、pytestのメンテナ4名に296件のAI生成PRをブラインドレビューさせ、SWE-bench Verifiedの自動スコアを通過したパッチの約半数…
- 金標準ベースラインで正規化した後、メンテナのマージ率は平均で自動スコアより24.
- 2ポイント低かった。
- 研究は、AIパッチが人間の開発者のように反復フィードバックを得ていないため、これを能力の上限と断言すべきではないと強調する一方、ベンチマークスコアからエージェントの実用性を直接推測すると過大評価にな…
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 62
おすすめの理由
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:METR研究:SWE-bench Verifiedを通過したAI PRの約半数はメンテナがマージしない。2026年3月10日。https://new.nat6.net/ja/news/cmtym8yln0009rolseat7ohr1/