Génération de questions-réponses synthétiques à partir de graines de tâches pour le pré-entraînement de Nemotron
Titre original:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
Résumé IA
Dans une expérience de continuation d'entraînement de 100B tokens sur Nemotron-3 Nano, la génération de données synthétiques à partir de graines de tâches (Task-Seeded SDG) a fait gagner 1,8 point sur MMLU-Pro, 1,9 point en moyenne sur le code, 1,6 point en compréhension générale et 11,1 points sur GPQA, les scores de mathématiques restant stables. Le processus utilise les jeux d'entraînement d'environ 70 tâches publiques (environ 700 sous-tâches) de lm-eval-harness comme graines, génère de nouveaux exemples enrichis de raisonnement et de contexte, puis, après validation du format, déduplication et vérification des réponses, produit un jeu de données synthétiques sélectionné pour l'entraînement de Nemotron Ultra et Super.
Points clés
- Dans une expérience de continuation d'entraînement de 100B tokens sur Nemotron-3 Nano,la…
- Le processus utilise les jeux d'entraînement d'environ 70 tâches publiques (environ 700…
- après validation du format,déduplication et vérification des réponses,produit un jeu de données…
En bref
- Publié
- Mis à jour
- Source
- Hugging Face 社区博客(混合发现)
- Catégorie
- Articles et recherche
- Score IA
- 68
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Génération de questions-réponses synthétiques à partir de graines de tâches pour le pré-entraînement de Nemotron. 4. juin 2026. https://new.nat6.net/fr/news/cmpzfevp50305slkpy89xsy0v/