Статьи и исследования

Berkeley RDI выпустил бенчмарк Agents' Last Exam

Оригинальный заголовок:Agents' Last Exam

ИИ-резюме

В июне 2026 года Berkeley RDI выпустил бенчмарк Agents' Last Exam (ALE), включающий более 1 500 задач из реальной работы в 55 нефизических профессиях. Оценка передовых агентов Fable 5, GPT-5.5 и Composer 2.5 показала: на самом сложном уровне успешность составила 0%; общие результаты близки, но стоимость одной задачи различается кардинально (Fable 5 — около $15,70, GPT-5.5 — около $3,80, Composer 2.5 — около $1,33). Лучший показатель прохождения подмножества ALE-CLI — лишь 25,2%. Основной режим отказа — агент объявляет о завершении, не проверив вывод. Датасет, код и подмножество CLI открыты.

Ключевые моменты

  • В июне 2026 года Berkeley RDI выпустил бенчмарк Agents' Last Exam (ALE),включающий более 1 500…
  • Оценка передовых агентов Fable 5,GPT-5.
  • 5 и Composer 2.
  • 5 показала: на самом сложном уровне успешность составила 0%
  • общие результаты близки,но стоимость одной задачи различается кардинально (Fable 5 — около…

Кратко

Опубликовано
Обновлено
Источник
Berkeley RDI:Blog(AI 安全与评测)
Категория
Статьи и исследования
Оценка ИИ
83
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Berkeley RDI выпустил бенчмарк Agents' Last Exam. 15 июня 2026. https://new.nat6.net/ru/news/cmqfzukav0264slspmybg065u/

Смотреть все →