論文・研究

METR研究:SWE-bench Verifiedを通過したAI PRの約半数はメンテナがマージしない

原題:Many SWE-bench-Passing PRs Would Not Be Merged into Main

AI 要約

METRはscikit-learn、Sphinx、pytestのメンテナ4名に296件のAI生成PRをブラインドレビューさせ、SWE-bench Verifiedの自動スコアを通過したパッチの約半数がメインブランチにマージされないことを発見した。金標準ベースラインで正規化した後、メンテナのマージ率は平均で自動スコアより24.2ポイント低かった。研究は、AIパッチが人間の開発者のように反復フィードバックを得ていないため、これを能力の上限と断言すべきではないと強調する一方、ベンチマークスコアからエージェントの実用性を直接推測すると過大評価になる可能性があるとしている。

要点

  • METRはscikit-learn、Sphinx、pytestのメンテナ4名に296件のAI生成PRをブラインドレビューさせ、SWE-bench Verifiedの自動スコアを通過したパッチの約半数…
  • 金標準ベースラインで正規化した後、メンテナのマージ率は平均で自動スコアより24.
  • 2ポイント低かった。
  • 研究は、AIパッチが人間の開発者のように反復フィードバックを得ていないため、これを能力の上限と断言すべきではないと強調する一方、ベンチマークスコアからエージェントの実用性を直接推測すると過大評価にな…

概要

公開日時
更新日時
出典
METR:Notes(网页)
カテゴリ
論文・研究
AI スコア
62
原文を読む 情報源で全文を読む
おすすめの理由

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:METR研究:SWE-bench Verifiedを通過したAI PRの約半数はメンテナがマージしない。2026年3月10日。https://new.nat6.net/ja/news/cmtym8yln0009rolseat7ohr1/

すべて見る →