Статьи и исследования

Генерация вопросов и ответов на основе Task-Seeded SDG для предобучения Nemotron

Оригинальный заголовок:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

ИИ-резюме

В эксперименте по дообучению модели Nemotron-3 Nano на 100 млрд токенов генерация синтетических данных на основе задач (Task-Seeded SDG) дала прирост MMLU-Pro на 1,8 балла, средний результат по коду — на 1,9 балла, понимание общих знаний — на 1,6 балла, GPQA — на 11,1 балла, при этом результаты по математике остались стабильными. Процесс использует обучающие наборы около 70 открытых задач (около 700 подзадач) из lm-eval-harness в качестве затравки, генерирует новые примеры и дополняет их рассуждениями и контекстом; после проверки формата, дедупликации и верификации ответов получается отобранный синтетический набор данных, используемый для обучения Nemotron Ultra и Super.

Ключевые моменты

  • В эксперименте по дообучению модели Nemotron-3 Nano на 100 млрд токенов генерация синтетических…
  • Процесс использует обучающие наборы около 70 открытых задач (около 700 подзадач) из…
  • после проверки формата,дедупликации и верификации ответов получается отобранный синтетический…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Статьи и исследования
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Генерация вопросов и ответов на основе Task-Seeded SDG для предобучения Nemotron. 4 июня 2026. https://new.nat6.net/ru/news/cmpzfevp50305slkpy89xsy0v/

Смотреть все →