Étude de Dwarkesh Patel : les progrès du pré-entraînement viennent surtout de l'amélioration des données
Titre original:Pretraining progress is mostly coming from data
Résumé IA
Dwarkesh Patel publie une analyse expérimentale : en entraînant avec un budget de calcul allant jusqu'à 1e19 FLOPs les recettes de modèles et corpus de données représentatifs de chaque année de 2019 à 2025, il constate que l'amélioration des données apporte un gain d'efficacité de calcul de 12,0x, contre 3,7x pour les modèles, la contribution des données étant environ 3,24 fois celle des modèles.
Points clés
- Dwarkesh Patel publie une analyse expérimentale: en entraînant avec un budget de calcul allant…
- il constate que l'amélioration des données apporte un gain d'efficacité de calcul de 12,contre 3
- 7x pour les modèles,la contribution des données étant environ 3,24 fois celle des modèles.
En bref
- Publié
- Mis à jour
- Catégorie
- Articles et recherche
- Score IA
- 60
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Étude de Dwarkesh Patel : les progrès du pré-entraînement viennent surtout de l'amélioration des données. 9. septembre 2026. https://new.nat6.net/fr/news/cmtsx0wm4041jrob5liwjypsq/