论文与研究

Nemotron 预训练的任务种子合成问答生成

原文标题:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

AI 摘要

在 Nemotron-3 Nano 模型的 100B token 续训练实验中,任务种子合成数据生成(Task-Seeded SDG)使 MMLU-Pro 提升 1.8 分,平均代码提升 1.9 分,常识理解提升 1.6 分,GPQA 提升 11.1 分,数学成绩保持稳定。该流程利用 lm-eval-harness 中约 70 个公开任务(约 700 子任务)的训练集作为种子,生成新示例并补充推理和上下文,经过格式校验、去重和答案验证后得到精选合成数据集,用于 Nemotron Ultra 和 Super 训练。

关键信息

  • 在 Nemotron-3 Nano 模型的 100B token 续训练实验中,任务种子合成数据生成(Task-Seeded SDG)使 MMLU-Pro 提升 1.
  • 8 分,平均代码提升 1.
  • 9 分,常识理解提升 1.
  • 6 分,GPQA 提升 11.
  • 1 分,数学成绩保持稳定。

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
论文与研究
AI 评分
68
阅读原文 前往信息源阅读完整正文
推荐理由

NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Nemotron 预训练的任务种子合成问答生成。2026年6月4日。https://new.nat6.net/news/cmpzfevp50305slkpy89xsy0v/

查看全部 →