Статьи и исследования

ITBench-AA: все передовые большие модели набрали менее 50% в первом бенчмарке агентных задач для корпоративного ИТ

Оригинальный заголовок:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

ИИ-резюме

Бенчмарк ITBench-AA SRE, представленный Artificial Analysis и IBM, показал, что все передовые большие модели набрали не более 50%. Claude Opus 4.7 (адаптивное рассуждение, максимальные усилия) лидирует с 47%, GPT-5.5 (xhigh) и Qwen3.7 Max набрали 46% и 42% соответственно. Тест включает 59 агентных задач, в которых требуется исследовать снимки событий Kubernetes через команды Shell и представить диагностику корневой причины. Ключевой вывод: разница в числе раундов рассуждения между моделями достигает почти 3 раз, но более длинные траектории не приводят к более высокой точности — модели со чрезмерным исследованием штрафуются за ложные срабатывания при отправке. По стоимости открытая модель Gemma 4 31B (Reasoning) набрала 37% при затратах $0.14 на задачу, превзойдя более дорогие, но менее точные закрытые модели.

Ключевые моменты

  • Бенчмарк ITBench-AA SRE,представленный Artificial Analysis и IBM,показал,что все передовые большие…
  • Claude Opus 4.
  • 7 (адаптивное рассуждение,максимальные усилия) лидирует с 47%,GPT-5.
  • 5 (xhigh) и Qwen3.
  • 7 Max набрали 46% и 42% соответственно.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Статьи и исследования
Оценка ИИ
70
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: ITBench-AA: все передовые большие модели набрали менее 50% в первом бенчмарке агентных задач для корпоративного ИТ. 28 мая 2026. https://new.nat6.net/ru/news/cmpobyo1b04qeslv4jzefv5eu/

Смотреть все →