ITBench-AA : les grands modèles de pointe obtiennent tous moins de 50 % au premier benchmark de tâches informatiques d'entreprise pour agents
Titre original:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
Résumé IA
Le benchmark SRE ITBench-AA, lancé par Artificial Analysis et IBM, montre qu'aucun grand modèle de pointe ne dépasse 50 %. Claude Opus 4.7 (raisonnement adaptatif, effort maximal) mène avec 47 %, GPT-5.5 (xhigh) et Qwen3.7 Max obtenant respectivement 46 % et 42 %. Le test comprend 59 tâches d'agent consistant à enquêter sur des instantanés d'événements Kubernetes via des commandes Shell et à soumettre un diagnostic de cause racine. Principale constatation : les tours de raisonnement varient d'un facteur proche de 3, mais des trajectoires plus longues ne se traduisent pas par une meilleure exactitude, les modèles enquêtant excessivement étant pénalisés pour avoir soumis de faux positifs. Côté coût, le modèle open source Gemma 4 31B (Reasoning) obtient 37 % pour 0,14 $ par tâche, mieux que des modèles propriétaires plus coûteux et moins performants.
Points clés
- Le benchmark SRE ITBench-AA,lancé par Artificial Analysis et IBM,montre qu'aucun grand modèle de…
- Claude Opus 4.
- 7 (raisonnement adaptatif,effort maximal) mène avec 47 %,GPT-5.
- 5 (xhigh) et Qwen3.
- 7 Max obtenant respectivement 46 % et 42 %.
En bref
- Publié
- Mis à jour
- Source
- Hugging Face 社区博客(混合发现)
- Catégorie
- Articles et recherche
- Score IA
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : ITBench-AA : les grands modèles de pointe obtiennent tous moins de 50 % au premier benchmark de tâches informatiques d'entreprise pour agents. 28. mai 2026. https://new.nat6.net/fr/news/cmpobyo1b04qeslv4jzefv5eu/