Pananaliksik ni Dwarkesh Patel: ang pag-unlad ng pretraining ay pangunahing nagmumula sa pagpapabuti ng data
Orihinal na pamagat:Pretraining progress is mostly coming from data
AI summary
Inilabas ni Dwarkesh Patel ang isang eksperimental na pagsusuri, kung saan nagsanay ng mga representative na recipe ng modelo at data corpus mula 2019 hanggang 2025 sa ilalim ng compute budget na hanggang 1e19 FLOPs, at natuklasan na ang pagpapabuti ng data ay nagdulot ng 12.0x na pagtaas ng compute efficiency, ang pagpapabuti ng modelo ay 3.7x, at ang kontribusyon ng data ay humigit-kumulang 3.24 beses kaysa sa modelo.
Mahahalagang impormasyon
- Inilabas ni Dwarkesh Patel ang isang eksperimental na pagsusuri,kung saan nagsanay ng mga…
- 0x na pagtaas ng compute efficiency,ang pagpapabuti ng modelo ay 3.
- 7x,at ang kontribusyon ng data ay humigit-kumulang 3.
- 24 beses kaysa sa modelo.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Dwarkesh Patel:Podcast & Blog(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 60
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pananaliksik ni Dwarkesh Patel: ang pag-unlad ng pretraining ay pangunahing nagmumula sa pagpapabuti ng data. 9 Setyembre 2026. https://new.nat6.net/fil/news/cmtsx0wm4041jrob5liwjypsq/