Studi Dwarkesh Patel: Kemajuan Pra-pelatihan Terutama Berasal dari Perbaikan Data
Judul asli:Pretraining progress is mostly coming from data
Ringkasan AI
Dwarkesh Patel merilis analisis eksperimen dengan melatih resep model dan korpus data representatif setiap tahun dari 2019 hingga 2025 pada anggaran komputasi hingga 1e19 FLOPs, dan menemukan bahwa perbaikan data menghasilkan peningkatan efisiensi komputasi 12,0x, perbaikan model 3,7x, dengan kontribusi data sekitar 3,24 kali lipat model.
Poin utama
- Dwarkesh Patel merilis analisis eksperimen dengan melatih resep model dan korpus data…
- dan menemukan bahwa perbaikan data menghasilkan peningkatan efisiensi komputasi 12
- perbaikan model 3,dengan kontribusi data sekitar 3,24 kali lipat model.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Makalah & Riset
- Skor AI
- 60
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Studi Dwarkesh Patel: Kemajuan Pra-pelatihan Terutama Berasal dari Perbaikan Data. 9 September 2026. https://new.nat6.net/id/news/cmtsx0wm4041jrob5liwjypsq/