Pembuatan Tanya-Jawab Sintetis Berbasis Task Seed untuk Pra-Pelatihan Nemotron
Judul asli:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
Ringkasan AI
Dalam eksperimen pelatihan lanjutan 100B token model Nemotron-3 Nano, pembuatan data sintetis berbasis task seed (Task-Seeded SDG) meningkatkan MMLU-Pro sebesar 1,8 poin, rata-rata kode sebesar 1,9 poin, pemahaman umum sebesar 1,6 poin, GPQA sebesar 11,1 poin, dan skor matematika tetap stabil. Proses ini menggunakan set pelatihan dari sekitar 70 tugas publik (sekitar 700 subtugas) dalam lm-eval-harness sebagai seed, menghasilkan contoh baru dan melengkapi penalaran serta konteks, lalu setelah validasi format, deduplikasi, dan verifikasi jawaban diperoleh kumpulan data sintetis terkurasi yang digunakan untuk pelatihan Nemotron Ultra dan Super.
Poin utama
- Dalam eksperimen pelatihan lanjutan 100B token model Nemotron-3 Nano,pembuatan data sintetis…
- Proses ini menggunakan set pelatihan dari sekitar 70 tugas publik (sekitar 700 subtugas) dalam…
- lalu setelah validasi format,deduplikasi,dan verifikasi jawaban diperoleh kumpulan data sintetis…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Makalah & Riset
- Skor AI
- 68
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Pembuatan Tanya-Jawab Sintetis Berbasis Task Seed untuk Pra-Pelatihan Nemotron. 4 Juni 2026. https://new.nat6.net/id/news/cmpzfevp50305slkpy89xsy0v/