論文・研究

Nemotron 事前トレーニングにおけるタスクシード合成 QA 生成

原題:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

AI 要約

Nemotron-3 Nano モデルの 100B token 継続トレーニング実験において、タスクシード合成データ生成(Task-Seeded SDG)により MMLU-Pro が 1.8 ポイント、コード平均が 1.9 ポイント、常識理解が 1.6 ポイント、GPQA が 11.1 ポイント向上し、数学の成績は安定を維持した。このプロセスは lm-eval-harness の約 70 の公開タスク(約 700 サブタスク)のトレーニングセットをシードとして利用し、新しい例を生成して推論とコンテキストを補足する。フォーマット検証、重複排除、回答検証を経て厳選された合成データセットを得て、Nemotron Ultra と Super のトレーニングに使用する。

要点

  • Nemotron-3 Nano モデルの 100B token 継続トレーニング実験において、タスクシード合成データ生成(Task-Seeded SDG)により MMLU-Pro が 1.
  • 8 ポイント、コード平均が 1.
  • 9 ポイント、常識理解が 1.
  • 6 ポイント、GPQA が 11.
  • 1 ポイント向上し、数学の成績は安定を維持した。

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
論文・研究
AI スコア
68
原文を読む 情報源で全文を読む
おすすめの理由

NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Nemotron 事前トレーニングにおけるタスクシード合成 QA 生成。2026年6月4日。https://new.nat6.net/ja/news/cmpzfevp50305slkpy89xsy0v/

すべて見る →