Kajian Dwarkesh Patel: kemajuan pra-latihan kebanyakannya daripada penambahbaikan data
Tajuk asal:Pretraining progress is mostly coming from data
Ringkasan AI
Dwarkesh Patel menerbitkan analisis eksperimen, melatih resipi model dan korpus data wakil setiap tahun 2019 hingga 2025 dalam bajet kuasa pengkomputeran sehingga 1e19 FLOPs, mendapati penambahbaikan data membawa peningkatan kecekapan kuasa pengkomputeran 12.0x, penambahbaikan model 3.7x, sumbangan data kira-kira 3.24 kali ganda model.
Maklumat penting
- Dwarkesh Patel menerbitkan analisis eksperimen,melatih resipi model dan korpus data wakil setiap…
- 0x,penambahbaikan model 3.
- 7x,sumbangan data kira-kira 3.
- 24 kali ganda model.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Kertas penyelidikan
- Skor AI
- 60
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Kajian Dwarkesh Patel: kemajuan pra-latihan kebanyakannya daripada penambahbaikan data. 9 September 2026. https://new.nat6.net/ms/news/cmtsx0wm4041jrob5liwjypsq/