Artículos e investigación

Generación de preguntas y respuestas sintéticas con semillas de tareas en el preentrenamiento de Nemotron

Título original:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

Resumen de IA

En el experimento de entrenamiento continuo de 100B tokens del modelo Nemotron-3 Nano, la generación de datos sintéticos con semillas de tareas (Task-Seeded SDG) mejoró MMLU-Pro en 1,8 puntos, el promedio de código en 1,9 puntos, la comprensión de sentido común en 1,6 puntos y GPQA en 11,1 puntos, mientras que los resultados de matemáticas se mantuvieron estables. El proceso utiliza los conjuntos de entrenamiento de unas 70 tareas públicas (aproximadamente 700 subtareas) de lm-eval-harness como semillas, genera nuevos ejemplos y complementa el razonamiento y el contexto; tras la validación de formato, la deduplicación y la verificación de respuestas, se obtiene un conjunto de datos sintéticos seleccionado que se utiliza para el entrenamiento de Nemotron Ultra y Super.

Puntos clave

  • En el experimento de entrenamiento continuo de 100B tokens del modelo Nemotron-3 Nano,la…
  • El proceso utiliza los conjuntos de entrenamiento de unas 70 tareas públicas (aproximadamente 700…
  • tras la validación de formato,la deduplicación y la verificación de respuestas,se obtiene un…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Artículos e investigación
Puntuación IA
68
Leer el original Leer el artículo completo en la fuente original
Por qué importa

NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Generación de preguntas y respuestas sintéticas con semillas de tareas en el preentrenamiento de Nemotron. 4. junio 2026. https://new.nat6.net/es/news/cmpzfevp50305slkpy89xsy0v/

Ver todo →