Artículos e investigación

METR: cerca de la mitad de los PR de IA que superan SWE-bench Verified no son fusionados por los mantenedores

Título original:Many SWE-bench-Passing PRs Would Not Be Merged into Main

Resumen de IA

METR hizo que 4 mantenedores de scikit-learn, Sphinx y pytest revisaran a ciegas 296 PR generados por IA y descubrió que cerca de la mitad de los parches que superan la evaluación automática de SWE-bench Verified no se fusionan en la rama principal; tras normalizar con una línea base de referencia, la tasa de fusión de los mantenedores es en promedio 24,2 puntos porcentuales inferior a la evaluación automática. El estudio subraya que los parches de IA no reciben la retroalimentación iterativa que tienen los desarrolladores humanos, por lo que no debe concluirse que sea un límite de capacidad, pero inferir directamente la utilidad real de los agentes a partir de las puntuaciones de los benchmarks puede sobreestimarla.

Puntos clave

  • METR hizo que 4 mantenedores de scikit-learn,Sphinx y pytest revisaran a ciegas 296 PR generados…
  • tras normalizar con una línea base de referencia,la tasa de fusión de los mantenedores es en…
  • El estudio subraya que los parches de IA no reciben la retroalimentación iterativa que tienen los…

Resumen rápido

Publicado
Actualizado
Fuente
METR:Notes(网页)
Categoría
Artículos e investigación
Puntuación IA
62
Leer el original Leer el artículo completo en la fuente original
Por qué importa

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: METR: cerca de la mitad de los PR de IA que superan SWE-bench Verified no son fusionados por los mantenedores. 10. marzo 2026. https://new.nat6.net/es/news/cmtym8yln0009rolseat7ohr1/

Ver todo →