Dwarkesh-Patel-Studie: Fortschritte beim Pretraining stammen vor allem aus besseren Daten
Originaltitel:Pretraining progress is mostly coming from data
KI-Zusammenfassung
Dwarkesh Patel hat eine experimentelle Analyse veröffentlicht, in der er mit einem Rechenbudget von bis zu 1e19 FLOPs die Rezepturen und Datenkorpora repräsentativer Modelle der Jahre 2019 bis 2025 trainierte. Datenverbesserungen brachten demnach einen Effizienzgewinn von 12,0x Rechenleistung, Modellverbesserungen von 3,7x; der Beitrag der Daten ist damit etwa 3,24-mal so groß wie der der Modelle.
Kernpunkte
- Dwarkesh Patel hat eine experimentelle Analyse veröffentlicht,in der er mit einem Rechenbudget von…
- Datenverbesserungen brachten demnach einen Effizienzgewinn von 12,0x…
- der Beitrag der Daten ist damit etwa 3,24-mal so groß wie der der Modelle.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 60
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Dwarkesh-Patel-Studie: Fortschritte beim Pretraining stammen vor allem aus besseren Daten. 9. September 2026. https://new.nat6.net/de/news/cmtsx0wm4041jrob5liwjypsq/