Papers & Forschung

ITBench-AA: Frontier-Modelle erzielen unter 50 % im ersten Agenten-Benchmark für Unternehmens-IT-Aufgaben

Originaltitel:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

KI-Zusammenfassung

Der von Artificial Analysis und IBM vorgestellte ITBench-AA-SRE-Benchmark zeigt, dass kein Frontier-Modell die 50-%-Marke überschreitet. Claude Opus 4.7 (adaptives Reasoning, maximale Anstrengung) führt mit 47 %, gefolgt von GPT-5.5 (xhigh) mit 46 % und Qwen3.7 Max mit 42 %. Der Test umfasst 59 Agentenaufgaben, bei denen Kubernetes-Ereignis-Snapshots per Shell-Befehl untersucht und eine Root-Cause-Diagnose eingereicht werden muss. Zentrale Erkenntnis: Die Zahl der Reasoning-Runden variiert um fast das Dreifache, doch längere Trajektorien führen nicht zu höherer Genauigkeit; übermäßig untersuchende Modelle werden für falsch-positive Einreichungen bestraft. Bei den Kosten erzielt das Open-Source-Modell Gemma 4 31B (Reasoning) mit 0,14 US-Dollar pro Aufgabe 37 % und liegt damit vor teureren Closed-Source-Modellen mit niedrigeren Werten.

Kernpunkte

  • Der von Artificial Analysis und IBM vorgestellte ITBench-AA-SRE-Benchmark zeigt,dass kein…
  • Claude Opus 4.
  • 7 (adaptives Reasoning,maximale Anstrengung) führt mit 47 %,gefolgt von GPT-5.
  • 5 (xhigh) mit 46 % und Qwen3.
  • 7 Max mit 42 %.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Papers & Forschung
KI-Bewertung
70
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: ITBench-AA: Frontier-Modelle erzielen unter 50 % im ersten Agenten-Benchmark für Unternehmens-IT-Aufgaben. 28. Mai 2026. https://new.nat6.net/de/news/cmpobyo1b04qeslv4jzefv5eu/

Alle ansehen →