Articles et recherche

Étude de Dwarkesh Patel : les progrès du pré-entraînement viennent surtout de l'amélioration des données

Titre original:Pretraining progress is mostly coming from data

Résumé IA

Dwarkesh Patel publie une analyse expérimentale : en entraînant avec un budget de calcul allant jusqu'à 1e19 FLOPs les recettes de modèles et corpus de données représentatifs de chaque année de 2019 à 2025, il constate que l'amélioration des données apporte un gain d'efficacité de calcul de 12,0x, contre 3,7x pour les modèles, la contribution des données étant environ 3,24 fois celle des modèles.

Points clés

  • Dwarkesh Patel publie une analyse expérimentale: en entraînant avec un budget de calcul allant…
  • il constate que l'amélioration des données apporte un gain d'efficacité de calcul de 12,contre 3
  • 7x pour les modèles,la contribution des données étant environ 3,24 fois celle des modèles.

En bref

Publié
Mis à jour
Source
Dwarkesh Patel:Podcast & Blog(RSS)
Catégorie
Articles et recherche
Score IA
60
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Étude de Dwarkesh Patel : les progrès du pré-entraînement viennent surtout de l'amélioration des données. 9. septembre 2026. https://new.nat6.net/fr/news/cmtsx0wm4041jrob5liwjypsq/

Tout voir →