ITBench-AA: Frontier-Modelle erzielen unter 50 % im ersten Agenten-Benchmark für Unternehmens-IT-Aufgaben
Originaltitel:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
KI-Zusammenfassung
Der von Artificial Analysis und IBM vorgestellte ITBench-AA-SRE-Benchmark zeigt, dass kein Frontier-Modell die 50-%-Marke überschreitet. Claude Opus 4.7 (adaptives Reasoning, maximale Anstrengung) führt mit 47 %, gefolgt von GPT-5.5 (xhigh) mit 46 % und Qwen3.7 Max mit 42 %. Der Test umfasst 59 Agentenaufgaben, bei denen Kubernetes-Ereignis-Snapshots per Shell-Befehl untersucht und eine Root-Cause-Diagnose eingereicht werden muss. Zentrale Erkenntnis: Die Zahl der Reasoning-Runden variiert um fast das Dreifache, doch längere Trajektorien führen nicht zu höherer Genauigkeit; übermäßig untersuchende Modelle werden für falsch-positive Einreichungen bestraft. Bei den Kosten erzielt das Open-Source-Modell Gemma 4 31B (Reasoning) mit 0,14 US-Dollar pro Aufgabe 37 % und liegt damit vor teureren Closed-Source-Modellen mit niedrigeren Werten.
Kernpunkte
- Der von Artificial Analysis und IBM vorgestellte ITBench-AA-SRE-Benchmark zeigt,dass kein…
- Claude Opus 4.
- 7 (adaptives Reasoning,maximale Anstrengung) führt mit 47 %,gefolgt von GPT-5.
- 5 (xhigh) mit 46 % und Qwen3.
- 7 Max mit 42 %.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: ITBench-AA: Frontier-Modelle erzielen unter 50 % im ersten Agenten-Benchmark für Unternehmens-IT-Aufgaben. 28. Mai 2026. https://new.nat6.net/de/news/cmpobyo1b04qeslv4jzefv5eu/