Исследование Dwarkesh Patel: прогресс предобучения в основном обусловлен улучшением данных
Оригинальный заголовок:Pretraining progress is mostly coming from data
ИИ-резюме
Dwarkesh Patel опубликовал экспериментальный анализ: при бюджете вычислений до 1e19 FLOPs он обучил модели на рецептах и корпусах данных представительных моделей 2019–2025 годов и обнаружил, что улучшение данных дало 12,0-кратный рост вычислительной эффективности, улучшение моделей — 3,7-кратный, а вклад данных примерно в 3,24 раза превысил вклад моделей.
Ключевые моменты
- Dwarkesh Patel опубликовал экспериментальный анализ: при бюджете вычислений до 1e19 FLOPs он…
- что улучшение данных дало 12,0-кратный рост вычислительной эффективности,улучшение моделей — 3
- 7-кратный,а вклад данных примерно в 3,24 раза превысил вклад моделей.
Кратко
- Опубликовано
- Обновлено
- Источник
- Dwarkesh Patel:Podcast & Blog(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 60
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Исследование Dwarkesh Patel: прогресс предобучения в основном обусловлен улучшением данных. 9 сентября 2026. https://new.nat6.net/ru/news/cmtsx0wm4041jrob5liwjypsq/