Pag-aaral ng METR: halos kalahati ng AI PR na pumasa sa SWE-bench Verified ay hindi mergy ng maintainer
Orihinal na pamagat:Many SWE-bench-Passing PRs Would Not Be Merged into Main
AI summary
Pinablind review ng METR ang 296 AI-generated PR sa 4 na maintainer ng scikit-learn, Sphinx, at pytest, at natuklasan na halos kalahati ng patch na pumasa sa awtomatikong scoring ng SWE-bench Verified ay hindi mergy sa main branch; matapos i-normalize sa gold standard baseline, ang merge rate ng maintainer ay average na 24.2 percentage points na mas mababa kaysa sa awtomatikong scoring. Binigyang-diin ng pag-aaral na ang AI patch ay hindi nakakakuha ng iterative feedback tulad ng human developer, kaya hindi dapat agad sabihing ito ang limitasyon ng kakayahan, ngunit ang direktang paghinuha ng aktwal na gamit ng agents batay sa benchmark score ay maaaring mag-overestimate.
Mahahalagang impormasyon
- Pinablind review ng METR ang 296 AI-generated PR sa 4 na maintainer ng scikit-learn,Sphinx,at…
- matapos i-normalize sa gold standard baseline,ang merge rate ng maintainer ay average na 24.
- 2 percentage points na mas mababa kaysa sa awtomatikong scoring.
- Binigyang-diin ng pag-aaral na ang AI patch ay hindi nakakakuha ng iterative feedback tulad ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- METR:Notes(网页)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 62
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pag-aaral ng METR: halos kalahati ng AI PR na pumasa sa SWE-bench Verified ay hindi mergy ng maintainer. 10 Marso 2026. https://new.nat6.net/fil/news/cmtym8yln0009rolseat7ohr1/