Articles et recherche

METR : environ la moitié des PR IA validées par SWE-bench Verified ne sont pas fusionnées par les mainteneurs

Titre original:Many SWE-bench-Passing PRs Would Not Be Merged into Main

Résumé IA

METR a fait évaluer en aveugle 296 PR générées par IA par 4 mainteneurs de scikit-learn, Sphinx et pytest : environ la moitié des correctifs validés par le scoring automatique SWE-bench Verified ne sont pas fusionnés dans la branche principale ; après normalisation sur une base de référence idéale, le taux de fusion par les mainteneurs est en moyenne inférieur de 24,2 points à celui du scoring automatique. L'étude souligne que les correctifs IA ne bénéficient pas du retour d'itération dont disposent les développeurs humains et qu'il ne faut pas en conclure à une limite de capacité, mais que déduire directement l'utilité réelle des agents à partir des scores de benchmark risque de la surestimer.

Points clés

  • METR a fait évaluer en aveugle 296 PR générées par IA par 4 mainteneurs de scikit-learn,Sphinx et…
  • après normalisation sur une base de référence idéale,le taux de fusion par les mainteneurs est en…
  • L'étude souligne que les correctifs IA ne bénéficient pas du retour d'itération dont disposent les…

En bref

Publié
Mis à jour
Source
METR:Notes(网页)
Catégorie
Articles et recherche
Score IA
62
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : METR : environ la moitié des PR IA validées par SWE-bench Verified ne sont pas fusionnées par les mainteneurs. 10. mars 2026. https://new.nat6.net/fr/news/cmtym8yln0009rolseat7ohr1/

Tout voir →