Papers & Forschung

Dwarkesh-Patel-Studie: Fortschritte beim Pretraining stammen vor allem aus besseren Daten

Originaltitel:Pretraining progress is mostly coming from data

KI-Zusammenfassung

Dwarkesh Patel hat eine experimentelle Analyse veröffentlicht, in der er mit einem Rechenbudget von bis zu 1e19 FLOPs die Rezepturen und Datenkorpora repräsentativer Modelle der Jahre 2019 bis 2025 trainierte. Datenverbesserungen brachten demnach einen Effizienzgewinn von 12,0x Rechenleistung, Modellverbesserungen von 3,7x; der Beitrag der Daten ist damit etwa 3,24-mal so groß wie der der Modelle.

Kernpunkte

  • Dwarkesh Patel hat eine experimentelle Analyse veröffentlicht,in der er mit einem Rechenbudget von…
  • Datenverbesserungen brachten demnach einen Effizienzgewinn von 12,0x…
  • der Beitrag der Daten ist damit etwa 3,24-mal so groß wie der der Modelle.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Dwarkesh Patel:Podcast & Blog(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
60
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Dwarkesh-Patel-Studie: Fortschritte beim Pretraining stammen vor allem aus besseren Daten. 9. September 2026. https://new.nat6.net/de/news/cmtsx0wm4041jrob5liwjypsq/

Alle ansehen →