Продукты и приложения

Hugging Face представила открытый рейтинг ИИ-агентов Open Agent Leaderboard

Оригинальный заголовок:The Open Agent Leaderboard

ИИ-резюме

Hugging Face выпустила открытый рейтинг ИИ-агентов для сравнения полноценных агентных систем, а не только базовых моделей, с одновременным указанием успешности и стоимости выполнения задачи. Рейтинг объединяет шесть существующих бенчмарков (SWE-Bench Verified, BrowseComp+, AppWorld, tau2-Bench Airline & Retail, tau2-Bench Telecom), охватывающих исправление кода, веб-исследования, личные задачи, обслуживание клиентов и техническую поддержку. Благодаря единому протоколу агентные системы подключаются ко всем бенчмаркам через одинаковый интерфейс. Результаты показывают, что одна и та же модель в разных агентных системах даёт заметно разные оценки и затраты. Для запуска и воспроизведения оценок используется фреймворк Exgentic, а соответствующая статья открыта.

Ключевые моменты

  • Hugging Face выпустила открытый рейтинг ИИ-агентов для сравнения полноценных агентных систем,а не…
  • Рейтинг объединяет шесть существующих бенчмарков (SWE-Bench…
  • Благодаря единому протоколу агентные системы подключаются ко всем бенчмаркам через одинаковый…
  • Результаты показывают,что одна и та же модель в разных агентных системах даёт заметно разные…
  • Для запуска и воспроизведения оценок используется фреймворк Exgentic,а соответствующая статья…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Продукты и приложения
Оценка ИИ
64
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

以后选agent不能只看模型跑分了,这个榜单把整个系统拉出来比,成本、失败成本全摊开,做agent的可以立刻去查自己架构差在哪。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Hugging Face представила открытый рейтинг ИИ-агентов Open Agent Leaderboard. 18 мая 2026. https://new.nat6.net/ru/news/cmpbbpl0f161tslnzxbl442c4/

Смотреть все →