Task-Seeded-SDG für Nemotron-Pretraining: Synthetische Frage-Antwort-Generierung
Originaltitel:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
KI-Zusammenfassung
In einem Experiment zum Weiter-Training des Nemotron-3-Nano-Modells mit 100B Token verbesserte die task-seeded synthetische Datengenerierung (Task-Seeded SDG) MMLU-Pro um 1,8 Punkte, den Code-Durchschnitt um 1,9 Punkte, das Allgemeinverständnis um 1,6 Punkte und GPQA um 11,1 Punkte, während die Mathematikleistung stabil blieb. Der Prozess nutzt die Trainingssets von etwa 70 öffentlichen Aufgaben (rund 700 Subtasks) aus lm-eval-harness als Seeds, erzeugt neue Beispiele und ergänzt Reasoning und Kontext; nach Formatprüfung, Deduplizierung und Antwortvalidierung entsteht ein kuratierter synthetischer Datensatz für das Training von Nemotron Ultra und Super.
Kernpunkte
- In einem Experiment zum Weiter-Training des Nemotron-3-Nano-Modells mit 100B Token verbesserte die…
- Der Prozess nutzt die Trainingssets von etwa 70 öffentlichen Aufgaben (rund 700 Subtasks) aus…
- nach Formatprüfung,Deduplizierung und Antwortvalidierung entsteht ein kuratierter synthetischer…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 68
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Task-Seeded-SDG für Nemotron-Pretraining: Synthetische Frage-Antwort-Generierung. 4. Juni 2026. https://new.nat6.net/de/news/cmpzfevp50305slkpy89xsy0v/