पेपर और शोध

Nemotron प्री-ट्रेनिंग के लिए टास्क-सीडेड सिंथेटिक प्रश्नोत्तर जनरेशन

मूल शीर्षक:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

AI सारांश

Nemotron-3 Nano मॉडल के 100B token निरंतर प्रशिक्षण प्रयोग में, टास्क-सीडेड SDG (Task-Seeded SDG) ने MMLU-Pro में 1.8 अंक, औसत कोड में 1.9 अंक, सामान्य ज्ञान समझ में 1.6 अंक, GPQA में 11.1 अंक की वृद्धि की, गणित का प्रदर्शन स्थिर रहा। यह प्रक्रिया lm-eval-harness में लगभग 70 सार्वजनिक कार्यों (लगभग 700 उप-कार्य) के प्रशिक्षण सेट को बीज के रूप में उपयोग करती है, नए उदाहरण उत्पन्न करती है और तर्क व संदर्भ जोड़ती है, प्रारूप सत्यापन, डुप्लिकेट हटाने और उत्तर सत्यापन के बाद चयनित सिंथेटिक डेटासेट प्राप्त होता है, जिसका उपयोग Nemotron Ultra और Super प्रशिक्षण के लिए किया जाता है।

मुख्य जानकारी

  • Nemotron-3 Nano मॉडल के 100B token निरंतर प्रशिक्षण प्रयोग में,टास्क-सीडेड SDG (Task-Seeded SDG)…
  • 8 अंक,औसत कोड में 1.
  • 9 अंक,सामान्य ज्ञान समझ में 1.
  • 6 अंक,GPQA में 11.
  • 1 अंक की वृद्धि की,गणित का प्रदर्शन स्थिर रहा। यह प्रक्रिया lm-eval-harness में लगभग 70 सार्वजनिक…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Hugging Face 社区博客(混合发现)
श्रेणी
पेपर और शोध
AI स्कोर
68
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Nemotron प्री-ट्रेनिंग के लिए टास्क-सीडेड सिंथेटिक प्रश्नोत्तर जनरेशन। 4 जून 2026। https://new.nat6.net/hi/news/cmpzfevp50305slkpy89xsy0v/

सभी देखें →