Kertas penyelidikan

Kajian Dwarkesh Patel: kemajuan pra-latihan kebanyakannya daripada penambahbaikan data

Tajuk asal:Pretraining progress is mostly coming from data

Ringkasan AI

Dwarkesh Patel menerbitkan analisis eksperimen, melatih resipi model dan korpus data wakil setiap tahun 2019 hingga 2025 dalam bajet kuasa pengkomputeran sehingga 1e19 FLOPs, mendapati penambahbaikan data membawa peningkatan kecekapan kuasa pengkomputeran 12.0x, penambahbaikan model 3.7x, sumbangan data kira-kira 3.24 kali ganda model.

Maklumat penting

  • Dwarkesh Patel menerbitkan analisis eksperimen,melatih resipi model dan korpus data wakil setiap…
  • 0x,penambahbaikan model 3.
  • 7x,sumbangan data kira-kira 3.
  • 24 kali ganda model.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Dwarkesh Patel:Podcast & Blog(RSS)
Kategori
Kertas penyelidikan
Skor AI
60
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Kajian Dwarkesh Patel: kemajuan pra-latihan kebanyakannya daripada penambahbaikan data. 9 September 2026. https://new.nat6.net/ms/news/cmtsx0wm4041jrob5liwjypsq/

Lihat Semua →