Opinión

Por qué SWE-bench Verified ya no mide la capacidad de codificación de vanguardia

Resumen de IA

OpenAI anuncia que deja de utilizar el benchmark SWE-bench Verified para evaluar la capacidad de codificación de vanguardia. Este benchmark se construyó a partir de problemas históricos de GitHub y la distribución de sus tareas ya no refleja con precisión los tipos de problemas reales que deben resolver los asistentes de codificación de IA actuales. A medida que mejora el rendimiento de los modelos, el conjunto de pruebas se satura y pierde capacidad de discriminación, y el rendimiento de los modelos actuales se acerca al nivel humano. Por ello, el equipo pasará a nuevos métodos de evaluación más exigentes y de complejidad más realista.

Puntos clave

  • OpenAI anuncia que deja de utilizar el benchmark SWE-bench Verified para evaluar la capacidad de…
  • Este benchmark se construyó a partir de problemas históricos de GitHub y la distribución de sus…
  • A medida que mejora el rendimiento de los modelos,el conjunto de pruebas se satura y pierde…
  • Por ello,el equipo pasará a nuevos métodos de evaluación más exigentes y de complejidad más…

Resumen rápido

Publicado
Actualizado
Fuente
OpenAI:官网动态(RSS · 排除企业/客户案例)
Categoría
Opinión
Puntuación IA
71
Leer el original Leer el artículo completo en la fuente original
Por qué importa

OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Por qué SWE-bench Verified ya no mide la capacidad de codificación de vanguardia. 27. abril 2026. https://new.nat6.net/es/news/cmog2im0800vbslr37vxebh5g/

Ver todo →