Mga Papel at Pananaliksik

Pag-aaral ng METR: halos kalahati ng AI PR na pumasa sa SWE-bench Verified ay hindi mergy ng maintainer

Orihinal na pamagat:Many SWE-bench-Passing PRs Would Not Be Merged into Main

AI summary

Pinablind review ng METR ang 296 AI-generated PR sa 4 na maintainer ng scikit-learn, Sphinx, at pytest, at natuklasan na halos kalahati ng patch na pumasa sa awtomatikong scoring ng SWE-bench Verified ay hindi mergy sa main branch; matapos i-normalize sa gold standard baseline, ang merge rate ng maintainer ay average na 24.2 percentage points na mas mababa kaysa sa awtomatikong scoring. Binigyang-diin ng pag-aaral na ang AI patch ay hindi nakakakuha ng iterative feedback tulad ng human developer, kaya hindi dapat agad sabihing ito ang limitasyon ng kakayahan, ngunit ang direktang paghinuha ng aktwal na gamit ng agents batay sa benchmark score ay maaaring mag-overestimate.

Mahahalagang impormasyon

  • Pinablind review ng METR ang 296 AI-generated PR sa 4 na maintainer ng scikit-learn,Sphinx,at…
  • matapos i-normalize sa gold standard baseline,ang merge rate ng maintainer ay average na 24.
  • 2 percentage points na mas mababa kaysa sa awtomatikong scoring.
  • Binigyang-diin ng pag-aaral na ang AI patch ay hindi nakakakuha ng iterative feedback tulad ng…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
METR:Notes(网页)
Kategorya
Mga Papel at Pananaliksik
AI na marka
62
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pag-aaral ng METR: halos kalahati ng AI PR na pumasa sa SWE-bench Verified ay hindi mergy ng maintainer. 10 Marso 2026. https://new.nat6.net/fil/news/cmtym8yln0009rolseat7ohr1/

Tingnan lahat →