Mga Papel at Pananaliksik

ITBench-AA: Lahat ng frontier large models ay nakakuha ng mas mababa sa 50% sa unang agentic enterprise IT task benchmark

Orihinal na pamagat:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

AI summary

Ipinakita ng ITBench-AA SRE benchmark na inilunsad ng Artificial Analysis at IBM na walang frontier large model ang lumampas sa 50%. Nanguna ang Claude Opus 4.7 (adaptive reasoning, maximum effort) sa 47%, habang ang GPT-5.5 (xhigh) at Qwen3.7 Max ay nakakuha ng 46% at 42% ayon sa pagkakabanggit. Naglalaman ang test ng 59 agentic tasks na nangangailangan ng pagsisiyasat sa Kubernetes event snapshots sa pamamagitan ng Shell commands at pagsusumite ng root cause diagnosis. Ang pangunahing natuklasan ay ang pagkakaiba ng reasoning rounds ng mga modelo ay halos 3 beses, ngunit ang mas mahabang trajectory ay hindi nagiging mas mataas na accuracy; ang mga modelong sobrang nagsisiyasat ay napaparusahan dahil sa pagsumite ng false positives. Sa gastos, ang open source model na Gemma 4 31B (Reasoning) ay nakakuha ng 37% sa halagang $0.14 bawat task, mas mahusay kaysa sa mas mahal ngunit mas mababa ang score na closed-source models.

Mahahalagang impormasyon

  • Ipinakita ng ITBench-AA SRE benchmark na inilunsad ng Artificial Analysis at IBM na walang…
  • Nanguna ang Claude Opus 4.
  • 7 (adaptive reasoning,maximum effort) sa 47%,habang ang GPT-5.
  • 5 (xhigh) at Qwen3.
  • 7 Max ay nakakuha ng 46% at 42% ayon sa pagkakabanggit.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Mga Papel at Pananaliksik
AI na marka
70
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: ITBench-AA: Lahat ng frontier large models ay nakakuha ng mas mababa sa 50% sa unang agentic enterprise IT task benchmark. 28 Mayo 2026. https://new.nat6.net/fil/news/cmpobyo1b04qeslv4jzefv5eu/

Tingnan lahat →