METR: cerca de la mitad de los PR de IA que superan SWE-bench Verified no son fusionados por los mantenedores
Título original:Many SWE-bench-Passing PRs Would Not Be Merged into Main
Resumen de IA
METR hizo que 4 mantenedores de scikit-learn, Sphinx y pytest revisaran a ciegas 296 PR generados por IA y descubrió que cerca de la mitad de los parches que superan la evaluación automática de SWE-bench Verified no se fusionan en la rama principal; tras normalizar con una línea base de referencia, la tasa de fusión de los mantenedores es en promedio 24,2 puntos porcentuales inferior a la evaluación automática. El estudio subraya que los parches de IA no reciben la retroalimentación iterativa que tienen los desarrolladores humanos, por lo que no debe concluirse que sea un límite de capacidad, pero inferir directamente la utilidad real de los agentes a partir de las puntuaciones de los benchmarks puede sobreestimarla.
Puntos clave
- METR hizo que 4 mantenedores de scikit-learn,Sphinx y pytest revisaran a ciegas 296 PR generados…
- tras normalizar con una línea base de referencia,la tasa de fusión de los mantenedores es en…
- El estudio subraya que los parches de IA no reciben la retroalimentación iterativa que tienen los…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- METR:Notes(网页)
- Categoría
- Artículos e investigación
- Puntuación IA
- 62
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: METR: cerca de la mitad de los PR de IA que superan SWE-bench Verified no son fusionados por los mantenedores. 10. marzo 2026. https://new.nat6.net/es/news/cmtym8yln0009rolseat7ohr1/