論文・研究

Dwarkesh Patelの研究:事前トレーニングの進歩は主にデータ改善による

原題:Pretraining progress is mostly coming from data

AI 要約

Dwarkesh Patelは実験分析を公開し、最大1e19 FLOPsの計算予算で2019年から2025年までの各年の代表的なモデルレシピとデータコーパスをトレーニングした結果、データ改善が12.0倍の計算効率向上をもたらし、モデル改善は3.7倍で、データの寄与はモデルの約3.24倍だった。

要点

  • Dwarkesh Patelは実験分析を公開し、最大1e19 FLOPsの計算予算で2019年から2025年までの各年の代表的なモデルレシピとデータコーパスをトレーニングした結果、データ改善が12.
  • 0倍の計算効率向上をもたらし、モデル改善は3.
  • 7倍で、データの寄与はモデルの約3.
  • 24倍だった

概要

公開日時
更新日時
出典
Dwarkesh Patel:Podcast & Blog(RSS)
カテゴリ
論文・研究
AI スコア
60
原文を読む 情報源で全文を読む
おすすめの理由

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Dwarkesh Patelの研究:事前トレーニングの進歩は主にデータ改善による。2026年9月9日。https://new.nat6.net/ja/news/cmtsx0wm4041jrob5liwjypsq/

すべて見る →