Генерация вопросов и ответов на основе Task-Seeded SDG для предобучения Nemotron
Оригинальный заголовок:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
ИИ-резюме
В эксперименте по дообучению модели Nemotron-3 Nano на 100 млрд токенов генерация синтетических данных на основе задач (Task-Seeded SDG) дала прирост MMLU-Pro на 1,8 балла, средний результат по коду — на 1,9 балла, понимание общих знаний — на 1,6 балла, GPQA — на 11,1 балла, при этом результаты по математике остались стабильными. Процесс использует обучающие наборы около 70 открытых задач (около 700 подзадач) из lm-eval-harness в качестве затравки, генерирует новые примеры и дополняет их рассуждениями и контекстом; после проверки формата, дедупликации и верификации ответов получается отобранный синтетический набор данных, используемый для обучения Nemotron Ultra и Super.
Ключевые моменты
- В эксперименте по дообучению модели Nemotron-3 Nano на 100 млрд токенов генерация синтетических…
- Процесс использует обучающие наборы около 70 открытых задач (около 700 подзадач) из…
- после проверки формата,дедупликации и верификации ответов получается отобранный синтетический…
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Статьи и исследования
- Оценка ИИ
- 68
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Генерация вопросов и ответов на основе Task-Seeded SDG для предобучения Nemotron. 4 июня 2026. https://new.nat6.net/ru/news/cmpzfevp50305slkpy89xsy0v/