ITBench-AA: los modelos frontera no superan el 50% en el primer benchmark de tareas de TI empresarial para agentes
Título original:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
Resumen de IA
El benchmark ITBench-AA SRE, presentado por Artificial Analysis e IBM, muestra que ningún modelo frontera supera el 50%. Claude Opus 4.7 (razonamiento adaptativo, máximo esfuerzo) lidera con un 47%, mientras que GPT-5.5 (xhigh) y Qwen3.7 Max obtienen un 46% y un 42%, respectivamente. La prueba incluye 59 tareas de agente en las que hay que investigar instantáneas de eventos de Kubernetes mediante comandos Shell y presentar un diagnóstico de causa raíz. Un hallazgo clave es que las rondas de razonamiento de los modelos difieren casi 3 veces, pero las trayectorias más largas no se traducen en mayor precisión; los modelos que investigan en exceso son penalizados por presentar falsos positivos. En cuanto al coste, el modelo de código abierto Gemma 4 31B (Reasoning) logra un 37% con un coste de $0.14 por tarea, superior a modelos cerrados más caros pero con menor puntuación.
Puntos clave
- El benchmark ITBench-AA SRE,presentado por Artificial Analysis e IBM,muestra que ningún modelo…
- Claude Opus 4.
- 7 (razonamiento adaptativo,máximo esfuerzo) lidera con un 47%,mientras que GPT-5.
- 5 (xhigh) y Qwen3.
- 7 Max obtienen un 46% y un 42%,respectivamente.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Artículos e investigación
- Puntuación IA
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: ITBench-AA: los modelos frontera no superan el 50% en el primer benchmark de tareas de TI empresarial para agentes. 28. mayo 2026. https://new.nat6.net/es/news/cmpobyo1b04qeslv4jzefv5eu/