Generación de preguntas y respuestas sintéticas con semillas de tareas en el preentrenamiento de Nemotron
Título original:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
Resumen de IA
En el experimento de entrenamiento continuo de 100B tokens del modelo Nemotron-3 Nano, la generación de datos sintéticos con semillas de tareas (Task-Seeded SDG) mejoró MMLU-Pro en 1,8 puntos, el promedio de código en 1,9 puntos, la comprensión de sentido común en 1,6 puntos y GPQA en 11,1 puntos, mientras que los resultados de matemáticas se mantuvieron estables. El proceso utiliza los conjuntos de entrenamiento de unas 70 tareas públicas (aproximadamente 700 subtareas) de lm-eval-harness como semillas, genera nuevos ejemplos y complementa el razonamiento y el contexto; tras la validación de formato, la deduplicación y la verificación de respuestas, se obtiene un conjunto de datos sintéticos seleccionado que se utiliza para el entrenamiento de Nemotron Ultra y Super.
Puntos clave
- En el experimento de entrenamiento continuo de 100B tokens del modelo Nemotron-3 Nano,la…
- El proceso utiliza los conjuntos de entrenamiento de unas 70 tareas públicas (aproximadamente 700…
- tras la validación de formato,la deduplicación y la verificación de respuestas,se obtiene un…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Artículos e investigación
- Puntuación IA
- 68
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Generación de preguntas y respuestas sintéticas con semillas de tareas en el preentrenamiento de Nemotron. 4. junio 2026. https://new.nat6.net/es/news/cmpzfevp50305slkpy89xsy0v/