Nemotron 事前トレーニングにおけるタスクシード合成 QA 生成
原題:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
AI 要約
Nemotron-3 Nano モデルの 100B token 継続トレーニング実験において、タスクシード合成データ生成(Task-Seeded SDG)により MMLU-Pro が 1.8 ポイント、コード平均が 1.9 ポイント、常識理解が 1.6 ポイント、GPQA が 11.1 ポイント向上し、数学の成績は安定を維持した。このプロセスは lm-eval-harness の約 70 の公開タスク(約 700 サブタスク)のトレーニングセットをシードとして利用し、新しい例を生成して推論とコンテキストを補足する。フォーマット検証、重複排除、回答検証を経て厳選された合成データセットを得て、Nemotron Ultra と Super のトレーニングに使用する。
要点
- Nemotron-3 Nano モデルの 100B token 継続トレーニング実験において、タスクシード合成データ生成(Task-Seeded SDG)により MMLU-Pro が 1.
- 8 ポイント、コード平均が 1.
- 9 ポイント、常識理解が 1.
- 6 ポイント、GPQA が 11.
- 1 ポイント向上し、数学の成績は安定を維持した。
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 68
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Nemotron 事前トレーニングにおけるタスクシード合成 QA 生成。2026年6月4日。https://new.nat6.net/ja/news/cmpzfevp50305slkpy89xsy0v/