Чёрная дыра данных в центрах ИИ
Оригинальный заголовок:The data black hole at the center of AI
ИИ-резюме
Одно из определений интеллекта — эффективность по выборке, но в последние годы прогресс ИИ в основном обеспечивался расширением распределения данных и наращиванием вычислений. Обучение с подкреплением по сути является генерацией синтетических данных: большие вычислительные ресурсы тратятся на отбор «хороших» данных через верификаторы, после чего модель обучается предсказывать правильные выходы. Этот процесс требует огромного количества примеров от человеческих экспертов в каждой области и навыке, и годовая выручка отрасли данных уже достигает нескольких миллиардов долларов. Недавно Epoch сообщил, что открытые модели отстают от передовых закрытых всего на 4 месяца, поскольку данные можно дистиллировать из публичных API, а гиперпараметры и прочее воспроизвести сложнее. За жизнь человек сталкивается примерно с 200 млн токенов, тогда как обучение передовых моделей идёт на десятках-сотнях триллионов токенов — разница почти в миллион раз; в робототехнике и автономном вождении существует столь же огромный разрыв в эффективности.
Ключевые моменты
- Одно из определений интеллекта — эффективность по выборке,но в последние годы прогресс ИИ в…
- Обучение с подкреплением по сути является генерацией синтетических данных: большие вычислительные…
- Этот процесс требует огромного количества примеров от человеческих экспертов в каждой области и…
- Недавно Epoch сообщил,что открытые модели отстают от передовых закрытых всего на 4…
- За жизнь человек сталкивается примерно с 200 млн токенов,тогда как обучение передовых моделей идёт…
Кратко
- Опубликовано
- Обновлено
- Источник
- Dwarkesh Patel:Podcast & Blog(RSS)
- Категория
- Мнения
- Оценка ИИ
- 60
Dwarkesh 把 AI 的‘笨’归因于数据效率远低于人类,计算虽简但直指要害,他给出的一个逆向洞察是开源模型四个月追上闭源,正是数据驱动进步的最好证据。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Чёрная дыра данных в центрах ИИ. 20 июня 2026. https://new.nat6.net/ru/news/cmql6vhtu01n0slluxpq3yvzh/