ITBench-AA: Lahat ng frontier large models ay nakakuha ng mas mababa sa 50% sa unang agentic enterprise IT task benchmark
Orihinal na pamagat:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
AI summary
Ipinakita ng ITBench-AA SRE benchmark na inilunsad ng Artificial Analysis at IBM na walang frontier large model ang lumampas sa 50%. Nanguna ang Claude Opus 4.7 (adaptive reasoning, maximum effort) sa 47%, habang ang GPT-5.5 (xhigh) at Qwen3.7 Max ay nakakuha ng 46% at 42% ayon sa pagkakabanggit. Naglalaman ang test ng 59 agentic tasks na nangangailangan ng pagsisiyasat sa Kubernetes event snapshots sa pamamagitan ng Shell commands at pagsusumite ng root cause diagnosis. Ang pangunahing natuklasan ay ang pagkakaiba ng reasoning rounds ng mga modelo ay halos 3 beses, ngunit ang mas mahabang trajectory ay hindi nagiging mas mataas na accuracy; ang mga modelong sobrang nagsisiyasat ay napaparusahan dahil sa pagsumite ng false positives. Sa gastos, ang open source model na Gemma 4 31B (Reasoning) ay nakakuha ng 37% sa halagang $0.14 bawat task, mas mahusay kaysa sa mas mahal ngunit mas mababa ang score na closed-source models.
Mahahalagang impormasyon
- Ipinakita ng ITBench-AA SRE benchmark na inilunsad ng Artificial Analysis at IBM na walang…
- Nanguna ang Claude Opus 4.
- 7 (adaptive reasoning,maximum effort) sa 47%,habang ang GPT-5.
- 5 (xhigh) at Qwen3.
- 7 Max ay nakakuha ng 46% at 42% ayon sa pagkakabanggit.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Hugging Face 社区博客(混合发现)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: ITBench-AA: Lahat ng frontier large models ay nakakuha ng mas mababa sa 50% sa unang agentic enterprise IT task benchmark. 28 Mayo 2026. https://new.nat6.net/fil/news/cmpobyo1b04qeslv4jzefv5eu/