OpenAI audita SWE-Bench Pro y halla defectos en cerca del 30% de las tareas de evaluación
Título original:Separating signal from noise in coding evaluations
Resumen de IA
OpenAI realizó una auditoría detallada del benchmark de codificación SWE-Bench Pro y encontró defectos en cerca del 30% de las tareas. En el subconjunto público de 731 tareas, la tasa de aprobación de los modelos de frontera pasó del 23,3% al 80,3% en ocho meses, pero las comprobaciones de calidad de los datos revelaron que muchas tareas tenían pruebas demasiado estrictas, descripciones de prompts insuficientes, cobertura de pruebas incompleta o pistas engañosas. OpenAI recomienda a los desarrolladores de modelos examinar con cuidado los resultados de las evaluaciones y señala la creciente utilidad de los agentes de IA en las comprobaciones de calidad de datos a escala.
Puntos clave
- OpenAI realizó una auditoría detallada del benchmark de codificación SWE-Bench Pro y encontró…
- En el subconjunto público de 731 tareas,la tasa de aprobación de los modelos de frontera pasó del…
- OpenAI recomienda a los desarrolladores de modelos examinar con cuidado los resultados de las…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Categoría
- Artículos e investigación
- Puntuación IA
- 70
OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: OpenAI audita SWE-Bench Pro y halla defectos en cerca del 30% de las tareas de evaluación. 8. julio 2026. https://new.nat6.net/es/news/cmrcigf5k01bqihx54i8oph9u/