ITBench-AA: все передовые большие модели набрали менее 50% в первом бенчмарке агентных задач для корпоративного ИТ
Оригинальный заголовок:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
ИИ-резюме
Бенчмарк ITBench-AA SRE, представленный Artificial Analysis и IBM, показал, что все передовые большие модели набрали не более 50%. Claude Opus 4.7 (адаптивное рассуждение, максимальные усилия) лидирует с 47%, GPT-5.5 (xhigh) и Qwen3.7 Max набрали 46% и 42% соответственно. Тест включает 59 агентных задач, в которых требуется исследовать снимки событий Kubernetes через команды Shell и представить диагностику корневой причины. Ключевой вывод: разница в числе раундов рассуждения между моделями достигает почти 3 раз, но более длинные траектории не приводят к более высокой точности — модели со чрезмерным исследованием штрафуются за ложные срабатывания при отправке. По стоимости открытая модель Gemma 4 31B (Reasoning) набрала 37% при затратах $0.14 на задачу, превзойдя более дорогие, но менее точные закрытые модели.
Ключевые моменты
- Бенчмарк ITBench-AA SRE,представленный Artificial Analysis и IBM,показал,что все передовые большие…
- Claude Opus 4.
- 7 (адаптивное рассуждение,максимальные усилия) лидирует с 47%,GPT-5.
- 5 (xhigh) и Qwen3.
- 7 Max набрали 46% и 42% соответственно.
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Статьи и исследования
- Оценка ИИ
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: ITBench-AA: все передовые большие модели набрали менее 50% в первом бенчмарке агентных задач для корпоративного ИТ. 28 мая 2026. https://new.nat6.net/ru/news/cmpobyo1b04qeslv4jzefv5eu/