Статьи и исследования

Исследование Dwarkesh Patel: прогресс предобучения в основном обусловлен улучшением данных

Оригинальный заголовок:Pretraining progress is mostly coming from data

ИИ-резюме

Dwarkesh Patel опубликовал экспериментальный анализ: при бюджете вычислений до 1e19 FLOPs он обучил модели на рецептах и корпусах данных представительных моделей 2019–2025 годов и обнаружил, что улучшение данных дало 12,0-кратный рост вычислительной эффективности, улучшение моделей — 3,7-кратный, а вклад данных примерно в 3,24 раза превысил вклад моделей.

Ключевые моменты

  • Dwarkesh Patel опубликовал экспериментальный анализ: при бюджете вычислений до 1e19 FLOPs он…
  • что улучшение данных дало 12,0-кратный рост вычислительной эффективности,улучшение моделей — 3
  • 7-кратный,а вклад данных примерно в 3,24 раза превысил вклад моделей.

Кратко

Опубликовано
Обновлено
Источник
Dwarkesh Patel:Podcast & Blog(RSS)
Категория
Статьи и исследования
Оценка ИИ
60
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Исследование Dwarkesh Patel: прогресс предобучения в основном обусловлен улучшением данных. 9 сентября 2026. https://new.nat6.net/ru/news/cmtsx0wm4041jrob5liwjypsq/

Смотреть все →