Artículos e investigación

ITBench-AA: los modelos frontera no superan el 50% en el primer benchmark de tareas de TI empresarial para agentes

Título original:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

Resumen de IA

El benchmark ITBench-AA SRE, presentado por Artificial Analysis e IBM, muestra que ningún modelo frontera supera el 50%. Claude Opus 4.7 (razonamiento adaptativo, máximo esfuerzo) lidera con un 47%, mientras que GPT-5.5 (xhigh) y Qwen3.7 Max obtienen un 46% y un 42%, respectivamente. La prueba incluye 59 tareas de agente en las que hay que investigar instantáneas de eventos de Kubernetes mediante comandos Shell y presentar un diagnóstico de causa raíz. Un hallazgo clave es que las rondas de razonamiento de los modelos difieren casi 3 veces, pero las trayectorias más largas no se traducen en mayor precisión; los modelos que investigan en exceso son penalizados por presentar falsos positivos. En cuanto al coste, el modelo de código abierto Gemma 4 31B (Reasoning) logra un 37% con un coste de $0.14 por tarea, superior a modelos cerrados más caros pero con menor puntuación.

Puntos clave

  • El benchmark ITBench-AA SRE,presentado por Artificial Analysis e IBM,muestra que ningún modelo…
  • Claude Opus 4.
  • 7 (razonamiento adaptativo,máximo esfuerzo) lidera con un 47%,mientras que GPT-5.
  • 5 (xhigh) y Qwen3.
  • 7 Max obtienen un 46% y un 42%,respectivamente.

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Artículos e investigación
Puntuación IA
70
Leer el original Leer el artículo completo en la fuente original
Por qué importa

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: ITBench-AA: los modelos frontera no superan el 50% en el primer benchmark de tareas de TI empresarial para agentes. 28. mayo 2026. https://new.nat6.net/es/news/cmpobyo1b04qeslv4jzefv5eu/

Ver todo →