Dwarkesh Patel 研究:预训练进步主要来自数据改进
原文标题:Pretraining progress is mostly coming from data
AI 摘要
Dwarkesh Patel 发布实验分析,在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料,发现数据改进带来 12.0x 算力效率提升,模型改进为 3.7x,数据贡献约为模型的 3.24 倍。
关键信息
- Dwarkesh Patel 发布实验分析,在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料,发现数据改进带来 12.
- 0x 算力效率提升,模型改进为 3.
- 7x,数据贡献约为模型的 3.
- 文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 60
推荐理由
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Dwarkesh Patel 研究:预训练进步主要来自数据改进。2026年9月9日。https://new.nat6.net/news/cmtsx0wm4041jrob5liwjypsq/