Dwarkesh Patelの研究:事前トレーニングの進歩は主にデータ改善による
原題:Pretraining progress is mostly coming from data
AI 要約
Dwarkesh Patelは実験分析を公開し、最大1e19 FLOPsの計算予算で2019年から2025年までの各年の代表的なモデルレシピとデータコーパスをトレーニングした結果、データ改善が12.0倍の計算効率向上をもたらし、モデル改善は3.7倍で、データの寄与はモデルの約3.24倍だった。
要点
- Dwarkesh Patelは実験分析を公開し、最大1e19 FLOPsの計算予算で2019年から2025年までの各年の代表的なモデルレシピとデータコーパスをトレーニングした結果、データ改善が12.
- 0倍の計算効率向上をもたらし、モデル改善は3.
- 7倍で、データの寄与はモデルの約3.
- 24倍だった
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 60
おすすめの理由
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Dwarkesh Patelの研究:事前トレーニングの進歩は主にデータ改善による。2026年9月9日。https://new.nat6.net/ja/news/cmtsx0wm4041jrob5liwjypsq/