Мнения

Чёрная дыра данных в центрах ИИ

Оригинальный заголовок:The data black hole at the center of AI

ИИ-резюме

Одно из определений интеллекта — эффективность по выборке, но в последние годы прогресс ИИ в основном обеспечивался расширением распределения данных и наращиванием вычислений. Обучение с подкреплением по сути является генерацией синтетических данных: большие вычислительные ресурсы тратятся на отбор «хороших» данных через верификаторы, после чего модель обучается предсказывать правильные выходы. Этот процесс требует огромного количества примеров от человеческих экспертов в каждой области и навыке, и годовая выручка отрасли данных уже достигает нескольких миллиардов долларов. Недавно Epoch сообщил, что открытые модели отстают от передовых закрытых всего на 4 месяца, поскольку данные можно дистиллировать из публичных API, а гиперпараметры и прочее воспроизвести сложнее. За жизнь человек сталкивается примерно с 200 млн токенов, тогда как обучение передовых моделей идёт на десятках-сотнях триллионов токенов — разница почти в миллион раз; в робототехнике и автономном вождении существует столь же огромный разрыв в эффективности.

Ключевые моменты

  • Одно из определений интеллекта — эффективность по выборке,но в последние годы прогресс ИИ в…
  • Обучение с подкреплением по сути является генерацией синтетических данных: большие вычислительные…
  • Этот процесс требует огромного количества примеров от человеческих экспертов в каждой области и…
  • Недавно Epoch сообщил,что открытые модели отстают от передовых закрытых всего на 4…
  • За жизнь человек сталкивается примерно с 200 млн токенов,тогда как обучение передовых моделей идёт…

Кратко

Опубликовано
Обновлено
Источник
Dwarkesh Patel:Podcast & Blog(RSS)
Категория
Мнения
Оценка ИИ
60
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Dwarkesh 把 AI 的‘笨’归因于数据效率远低于人类,计算虽简但直指要害,他给出的一个逆向洞察是开源模型四个月追上闭源,正是数据驱动进步的最好证据。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Чёрная дыра данных в центрах ИИ. 20 июня 2026. https://new.nat6.net/ru/news/cmql6vhtu01n0slluxpq3yvzh/

Смотреть все →