Artículos e investigación

OpenAI audita SWE-Bench Pro y halla defectos en cerca del 30% de las tareas de evaluación

Título original:Separating signal from noise in coding evaluations

Resumen de IA

OpenAI realizó una auditoría detallada del benchmark de codificación SWE-Bench Pro y encontró defectos en cerca del 30% de las tareas. En el subconjunto público de 731 tareas, la tasa de aprobación de los modelos de frontera pasó del 23,3% al 80,3% en ocho meses, pero las comprobaciones de calidad de los datos revelaron que muchas tareas tenían pruebas demasiado estrictas, descripciones de prompts insuficientes, cobertura de pruebas incompleta o pistas engañosas. OpenAI recomienda a los desarrolladores de modelos examinar con cuidado los resultados de las evaluaciones y señala la creciente utilidad de los agentes de IA en las comprobaciones de calidad de datos a escala.

Puntos clave

  • OpenAI realizó una auditoría detallada del benchmark de codificación SWE-Bench Pro y encontró…
  • En el subconjunto público de 731 tareas,la tasa de aprobación de los modelos de frontera pasó del…
  • OpenAI recomienda a los desarrolladores de modelos examinar con cuidado los resultados de las…

Resumen rápido

Publicado
Actualizado
Fuente
OpenAI:官网动态(RSS · 排除企业/客户案例)
Categoría
Artículos e investigación
Puntuación IA
70
Leer el original Leer el artículo completo en la fuente original
Por qué importa

OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: OpenAI audita SWE-Bench Pro y halla defectos en cerca del 30% de las tareas de evaluación. 8. julio 2026. https://new.nat6.net/es/news/cmrcigf5k01bqihx54i8oph9u/

Ver todo →