Interferencias de infraestructura en la evaluación de agentes de codificación cuantificados
Título original:Quantifying infrastructure noise in agentic coding evals
Resumen de IA
Un estudio revela que, en pruebas de referencia de agentes de codificación como SWE-bench, las diferencias en la configuración de infraestructura pueden influir en las puntuaciones de los modelos más que las pequeñas diferencias entre los mejores modelos de la clasificación. Experimentos internos muestran que en Terminal-Bench 2.0 la tasa de éxito varía un 6% entre la configuración de recursos más estricta y la más permisiva. Las restricciones estrictas de recursos provocan que casi el 6% de las tareas fallen por terminación inesperada de contenedores, mientras que con configuraciones permisivas esa tasa se reduce al 0.5%. Cuando el margen de recursos supera 3 veces las especificaciones de referencia, los agentes incluso logran completar con recursos adicionales tareas que originalmente no podían resolver. Esto indica que el entorno de evaluación no solo afecta la estabilidad de las pruebas, sino que también altera las dimensiones de capacidad que la prueba de referencia mide realmente.
Puntos clave
- Un estudio revela que,en pruebas de referencia de agentes de codificación como SWE-bench,las…
- Experimentos internos muestran que en Terminal-Bench 2.
- 0 la tasa de éxito varía un 6% entre la configuración de recursos más estricta y la más permisiva.
- Las restricciones estrictas de recursos provocan que casi el 6% de las tareas fallen por…
- Cuando el margen de recursos supera 3 veces las especificaciones de referencia,los agentes incluso…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Artículos e investigación
- Puntuación IA
- 74
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Interferencias de infraestructura en la evaluación de agentes de codificación cuantificados. 5. febrero 2026. https://new.nat6.net/es/news/cmorb7ml0008bslhfiqfwufv7/