Penjanaan soal jawab sintetik benih tugas untuk pra-latihan Nemotron
Tajuk asal:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
Ringkasan AI
Dalam eksperimen latihan lanjutan 100B token model Nemotron-3 Nano, penjanaan data sintetik benih tugas (Task-Seeded SDG) meningkatkan MMLU-Pro sebanyak 1.8 mata, purata kod sebanyak 1.9 mata, pemahaman pengetahuan umum sebanyak 1.6 mata, GPQA sebanyak 11.1 mata, manakala prestasi matematik kekal stabil. Proses ini menggunakan set latihan kira-kira 70 tugasan awam (kira-kira 700 subtugasan) dalam lm-eval-harness sebagai benih, menjana contoh baharu dan menambah penaakulan serta konteks, kemudian melalui pengesahan format, penyahduplikasian dan pengesahan jawapan untuk menghasilkan set data sintetik terpilih bagi latihan Nemotron Ultra dan Super.
Maklumat penting
- Dalam eksperimen latihan lanjutan 100B token model Nemotron-3 Nano,penjanaan data sintetik benih…
- 8 mata,purata kod sebanyak 1.
- 9 mata,pemahaman pengetahuan umum sebanyak 1.
- 6 mata,GPQA sebanyak 11.
- 1 mata,manakala prestasi matematik kekal stabil.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Kertas penyelidikan
- Skor AI
- 68
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Penjanaan soal jawab sintetik benih tugas untuk pra-latihan Nemotron. 4 Jun 2026. https://new.nat6.net/ms/news/cmpzfevp50305slkpy89xsy0v/