Nemotron 预训练的任务种子合成问答生成
原文标题:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
AI 摘要
在 Nemotron-3 Nano 模型的 100B token 续训练实验中,任务种子合成数据生成(Task-Seeded SDG)使 MMLU-Pro 提升 1.8 分,平均代码提升 1.9 分,常识理解提升 1.6 分,GPQA 提升 11.1 分,数学成绩保持稳定。该流程利用 lm-eval-harness 中约 70 个公开任务(约 700 子任务)的训练集作为种子,生成新示例并补充推理和上下文,经过格式校验、去重和答案验证后得到精选合成数据集,用于 Nemotron Ultra 和 Super 训练。
关键信息
- 在 Nemotron-3 Nano 模型的 100B token 续训练实验中,任务种子合成数据生成(Task-Seeded SDG)使 MMLU-Pro 提升 1.
- 8 分,平均代码提升 1.
- 9 分,常识理解提升 1.
- 6 分,GPQA 提升 11.
- 1 分,数学成绩保持稳定。
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 68
推荐理由
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Nemotron 预训练的任务种子合成问答生成。2026年6月4日。https://new.nat6.net/news/cmpzfevp50305slkpy89xsy0v/