Оценка ИИ становится новым узким местом вычислений
Оригинальный заголовок:AI evals are becoming the new compute bottleneck
ИИ-резюме
Стоимость оценки ИИ преодолела критический порог и меняет её доступность. Holistic Agent Leaderboard потратил около 40 тыс. долларов на более чем 20 тыс. прогонов агентов, а стоимость одного теста передовой модели может достигать 2829 долларов. Исследование показывает, что затраты на одну и ту же задачу могут различаться в 33 раза, и выбор каркаса является ключевым фактором стоимости. Хотя статические бенчмарки можно сжать в сто раз, сжатие оценки агентов ограничено из-за длинных траекторий и высокого уровня шума. Большие расходы не гарантируют лучшего результата: например, в тесте GAIA решение за 2828 долларов дало точность 28,5%, а решение за 1686 долларов — 57,6%. Если оценка включает обучение модели, затраты полностью выходят за рамки обычных API-фреймворков.
Ключевые моменты
- Стоимость оценки ИИ преодолела критический порог и меняет её доступность.
- Holistic Agent Leaderboard потратил около 40 тыс.
- долларов на более чем 20 тыс.
- прогонов агентов,а стоимость одного теста передовой модели может достигать 2829 долларов.
- Исследование показывает,что затраты на одну и ту же задачу могут различаться в 33 раза,и выбор…
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Мнения
- Оценка ИИ
- 62
这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Оценка ИИ становится новым узким местом вычислений. 30 апреля 2026. https://new.nat6.net/ru/news/cmokcbel300ilsl4fwekuxwgp/