METR : environ la moitié des PR IA validées par SWE-bench Verified ne sont pas fusionnées par les mainteneurs
Titre original:Many SWE-bench-Passing PRs Would Not Be Merged into Main
Résumé IA
METR a fait évaluer en aveugle 296 PR générées par IA par 4 mainteneurs de scikit-learn, Sphinx et pytest : environ la moitié des correctifs validés par le scoring automatique SWE-bench Verified ne sont pas fusionnés dans la branche principale ; après normalisation sur une base de référence idéale, le taux de fusion par les mainteneurs est en moyenne inférieur de 24,2 points à celui du scoring automatique. L'étude souligne que les correctifs IA ne bénéficient pas du retour d'itération dont disposent les développeurs humains et qu'il ne faut pas en conclure à une limite de capacité, mais que déduire directement l'utilité réelle des agents à partir des scores de benchmark risque de la surestimer.
Points clés
- METR a fait évaluer en aveugle 296 PR générées par IA par 4 mainteneurs de scikit-learn,Sphinx et…
- après normalisation sur une base de référence idéale,le taux de fusion par les mainteneurs est en…
- L'étude souligne que les correctifs IA ne bénéficient pas du retour d'itération dont disposent les…
En bref
- Publié
- Mis à jour
- Source
- METR:Notes(网页)
- Catégorie
- Articles et recherche
- Score IA
- 62
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : METR : environ la moitié des PR IA validées par SWE-bench Verified ne sont pas fusionnées par les mainteneurs. 10. mars 2026. https://new.nat6.net/fr/news/cmtym8yln0009rolseat7ohr1/