Статьи и исследования

Arena выпустила рейтинг ИИ-агентов Agent Arena на основе реальных задач

Оригинальный заголовок:Arena just released a real-world agent leaderboard that ranks AI models by how well they complete ac...

ИИ-резюме

Arena представила рейтинг агентов на основе реальных пользовательских задач, оценивающий модели в написании кода, создании приложений, анализе документов и других работах, а не в изолированных бенчмарках. Рейтинг основан на более чем 300 тыс. задач, более 2 млн вызовов инструментов и 40 млн строк кода и учитывает успешность задач, соблюдение исправлений, восстановление после ошибок, похвалу и жалобы пользователей, галлюцинации инструментов и другие сигналы. Топ-3: GPT-5.5 High (+10,7%), Claude Opus 4.7 Thinking (+9,5%), GPT-5.4 High (+8,9%).

Ключевые моменты

  • Arena представила рейтинг агентов на основе реальных пользовательских задач,оценивающий модели в…
  • Рейтинг основан на более чем 300 тыс.
  • задач,более 2 млн вызовов инструментов и 40 млн строк кода и учитывает успешность задач,соблюдение…
  • Топ-3: GPT-5.
  • 5 High (+10,7%),Claude Opus 4.

Кратко

Опубликовано
Обновлено
Источник
X:Rohan Paul (@rohanpaul_ai)
Категория
Статьи и исследования
Оценка ИИ
76
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Arena 跳出了刷榜逻辑,用真实用户的多轮交互来评估 Agent,这比任何 toy benchmark 都更有说服力,选模型做 Agent 应用的可以把它当新指南。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Arena выпустила рейтинг ИИ-агентов Agent Arena на основе реальных задач. 6 июня 2026. https://new.nat6.net/ru/news/cmq1hy4wt0fyrsltrxx64boz8/

Смотреть все →