Мнения

Оценка ИИ становится новым узким местом вычислений

Оригинальный заголовок:AI evals are becoming the new compute bottleneck

ИИ-резюме

Стоимость оценки ИИ преодолела критический порог и меняет её доступность. Holistic Agent Leaderboard потратил около 40 тыс. долларов на более чем 20 тыс. прогонов агентов, а стоимость одного теста передовой модели может достигать 2829 долларов. Исследование показывает, что затраты на одну и ту же задачу могут различаться в 33 раза, и выбор каркаса является ключевым фактором стоимости. Хотя статические бенчмарки можно сжать в сто раз, сжатие оценки агентов ограничено из-за длинных траекторий и высокого уровня шума. Большие расходы не гарантируют лучшего результата: например, в тесте GAIA решение за 2828 долларов дало точность 28,5%, а решение за 1686 долларов — 57,6%. Если оценка включает обучение модели, затраты полностью выходят за рамки обычных API-фреймворков.

Ключевые моменты

  • Стоимость оценки ИИ преодолела критический порог и меняет её доступность.
  • Holistic Agent Leaderboard потратил около 40 тыс.
  • долларов на более чем 20 тыс.
  • прогонов агентов,а стоимость одного теста передовой модели может достигать 2829 долларов.
  • Исследование показывает,что затраты на одну и ту же задачу могут различаться в 33 раза,и выбор…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Мнения
Оценка ИИ
62
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Оценка ИИ становится новым узким местом вычислений. 30 апреля 2026. https://new.nat6.net/ru/news/cmokcbel300ilsl4fwekuxwgp/

Смотреть все →