Makalah & Riset

Studi Dwarkesh Patel: Kemajuan Pra-pelatihan Terutama Berasal dari Perbaikan Data

Judul asli:Pretraining progress is mostly coming from data

Ringkasan AI

Dwarkesh Patel merilis analisis eksperimen dengan melatih resep model dan korpus data representatif setiap tahun dari 2019 hingga 2025 pada anggaran komputasi hingga 1e19 FLOPs, dan menemukan bahwa perbaikan data menghasilkan peningkatan efisiensi komputasi 12,0x, perbaikan model 3,7x, dengan kontribusi data sekitar 3,24 kali lipat model.

Poin utama

  • Dwarkesh Patel merilis analisis eksperimen dengan melatih resep model dan korpus data…
  • dan menemukan bahwa perbaikan data menghasilkan peningkatan efisiensi komputasi 12
  • perbaikan model 3,dengan kontribusi data sekitar 3,24 kali lipat model.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Dwarkesh Patel:Podcast & Blog(RSS)
Kategori
Makalah & Riset
Skor AI
60
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Studi Dwarkesh Patel: Kemajuan Pra-pelatihan Terutama Berasal dari Perbaikan Data. 9 September 2026. https://new.nat6.net/id/news/cmtsx0wm4041jrob5liwjypsq/

Lihat semua →