Mga Papel at Pananaliksik

Task-seeded synthetic QA generation para sa Nemotron pretraining

Orihinal na pamagat:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

AI summary

Sa 100B token continued training experiment ng Nemotron-3 Nano model, ang task-seeded synthetic data generation (Task-Seeded SDG) ay nagpataas ng MMLU-Pro ng 1.8 puntos, average code ng 1.9 puntos, commonsense understanding ng 1.6 puntos, GPQA ng 11.1 puntos, habang nanatiling stable ang math score. Gumagamit ang proseso ng training set ng humigit-kumulang 70 pampublikong task (mga 700 subtask) sa lm-eval-harness bilang seed, gumagawa ng bagong halimbawa at nagdaragdag ng reasoning at context, at pagkatapos ng format validation, deduplication at answer verification ay nakakakuha ng curated synthetic dataset para sa Nemotron Ultra at Super training.

Mahahalagang impormasyon

  • Sa 100B token continued training experiment ng Nemotron-3 Nano model,ang task-seeded synthetic…
  • 8 puntos,average code ng 1.
  • 9 puntos,commonsense understanding ng 1.
  • 6 puntos,GPQA ng 11.
  • 1 puntos,habang nanatiling stable ang math score.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Mga Papel at Pananaliksik
AI na marka
68
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Task-seeded synthetic QA generation para sa Nemotron pretraining. 4 Hunyo 2026. https://new.nat6.net/fil/news/cmpzfevp50305slkpy89xsy0v/

Tingnan lahat →