论文与研究

ITBench-AA:前沿大模型在首个智能体企业IT任务基准测试中得分均低于50%

原文标题:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

AI 摘要

由Artificial Analysis和IBM推出的ITBench-AA SRE基准测试显示,所有前沿大模型得分均未超过50%。Claude Opus 4.7(自适应推理,最大努力)以47%领先,GPT-5.5(xhigh)和Qwen3.7 Max分别得46%和42%。该测试包含59个需要通过Shell命令调查Kubernetes事件快照并提交根因诊断的智能体任务。关键发现是模型推理轮次差异近3倍,但更长的轨迹并不转化为更高准确率,过度调查的模型会因提交误报而受罚。在成本方面,开源模型Gemma 4 31B(Reasoning)以每任务$0.14的成本获得37%得分,优于成本更高但得分更低的闭源模型。

关键信息

  • 由Artificial Analysis和IBM推出的ITBench-AA SRE基准测试显示,所有前沿大模型得分均未超过50%。
  • Claude Opus 4.
  • 7(自适应推理,最大努力)以47%领先,GPT-5.
  • 5(xhigh)和Qwen3.
  • 7 Max分别得46%和42%。

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
论文与研究
AI 评分
70
阅读原文 前往信息源阅读完整正文
推荐理由

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:ITBench-AA:前沿大模型在首个智能体企业IT任务基准测试中得分均低于50%。2026年5月28日。https://new.nat6.net/news/cmpobyo1b04qeslv4jzefv5eu/

查看全部 →