Berkeley RDI выпустил бенчмарк Agents' Last Exam
Оригинальный заголовок:Agents' Last Exam
ИИ-резюме
В июне 2026 года Berkeley RDI выпустил бенчмарк Agents' Last Exam (ALE), включающий более 1 500 задач из реальной работы в 55 нефизических профессиях. Оценка передовых агентов Fable 5, GPT-5.5 и Composer 2.5 показала: на самом сложном уровне успешность составила 0%; общие результаты близки, но стоимость одной задачи различается кардинально (Fable 5 — около $15,70, GPT-5.5 — около $3,80, Composer 2.5 — около $1,33). Лучший показатель прохождения подмножества ALE-CLI — лишь 25,2%. Основной режим отказа — агент объявляет о завершении, не проверив вывод. Датасет, код и подмножество CLI открыты.
Ключевые моменты
- В июне 2026 года Berkeley RDI выпустил бенчмарк Agents' Last Exam (ALE),включающий более 1 500…
- Оценка передовых агентов Fable 5,GPT-5.
- 5 и Composer 2.
- 5 показала: на самом сложном уровне успешность составила 0%
- общие результаты близки,но стоимость одной задачи различается кардинально (Fable 5 — около…
Кратко
- Опубликовано
- Обновлено
- Источник
- Berkeley RDI:Blog(AI 安全与评测)
- Категория
- Статьи и исследования
- Оценка ИИ
- 83
在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Berkeley RDI выпустил бенчмарк Agents' Last Exam. 15 июня 2026. https://new.nat6.net/ru/news/cmqfzukav0264slspmybg065u/