论文与研究

METR 研究:约半数通过 SWE-bench Verified 的 AI PR 不会被维护者合并

原文标题:Many SWE-bench-Passing PRs Would Not Be Merged into Main

AI 摘要

METR 让 scikit-learn、Sphinx、pytest 的 4 位维护者盲审 296 个 AI 生成的 PR,发现约一半通过 SWE-bench Verified 自动评分的补丁不会被合并进主分支;经金标准基线归一后,维护者合并率平均比自动评分低 24.2 个百分点。研究强调 AI 补丁未像人类开发者那样获得迭代反馈,不应据此断言是能力上限,但直接按基准分数推断智能体实际用处可能高估。

关键信息

  • METR 让 scikit-learn、Sphinx、pytest 的 4 位维护者盲审 296 个 AI 生成的 PR,发现约一半通过 SWE-bench Verified 自动评分的补丁不会被合…
  • 经金标准基线归一后,维护者合并率平均比自动评分低 24.
  • 研究强调 AI 补丁未像人类开发者那样获得迭代反馈,不应据此断言是能力上限,但直接按基准分数推断智能体实际用处可能高估
  • 研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照

速览

发布时间
更新时间
来源
METR:Notes(网页)
分类
论文与研究
AI 评分
62
阅读原文 前往信息源阅读完整正文
推荐理由

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:METR 研究:约半数通过 SWE-bench Verified 的 AI PR 不会被维护者合并。2026年3月10日。https://new.nat6.net/news/cmtym8yln0009rolseat7ohr1/

查看全部 →