Mga Papel at Pananaliksik

Pananaliksik ni Dwarkesh Patel: ang pag-unlad ng pretraining ay pangunahing nagmumula sa pagpapabuti ng data

Orihinal na pamagat:Pretraining progress is mostly coming from data

AI summary

Inilabas ni Dwarkesh Patel ang isang eksperimental na pagsusuri, kung saan nagsanay ng mga representative na recipe ng modelo at data corpus mula 2019 hanggang 2025 sa ilalim ng compute budget na hanggang 1e19 FLOPs, at natuklasan na ang pagpapabuti ng data ay nagdulot ng 12.0x na pagtaas ng compute efficiency, ang pagpapabuti ng modelo ay 3.7x, at ang kontribusyon ng data ay humigit-kumulang 3.24 beses kaysa sa modelo.

Mahahalagang impormasyon

  • Inilabas ni Dwarkesh Patel ang isang eksperimental na pagsusuri,kung saan nagsanay ng mga…
  • 0x na pagtaas ng compute efficiency,ang pagpapabuti ng modelo ay 3.
  • 7x,at ang kontribusyon ng data ay humigit-kumulang 3.
  • 24 beses kaysa sa modelo.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Dwarkesh Patel:Podcast & Blog(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
60
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pananaliksik ni Dwarkesh Patel: ang pag-unlad ng pretraining ay pangunahing nagmumula sa pagpapabuti ng data. 9 Setyembre 2026. https://new.nat6.net/fil/news/cmtsx0wm4041jrob5liwjypsq/

Tingnan lahat →