NVIDIA NeMo AutoModel: एक लाइन कोड के साथ Transformer MoE मॉडल फाइन-ट्यूनिंग में तेजी
मूल शीर्षक:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
AI सारांश
NVIDIA NeMo AutoModel एक ओपन-सोर्स लाइब्रेरी है जो Transformers v5 पर आधारित है। यह Expert Parallelism, DeepEP और TransformerEngine कर्नेल को जोड़ती है। MoE मॉडल फाइन-ट्यूनिंग में, यह मूल v5 की तुलना में 3.4–3.7 गुना अधिक प्रशिक्षण थ्रूपुट और 29–32% कम GPU मेमोरी का उपयोग करती है। 16 नोड्स और 128 H100 पर Nemotron 3 Ultra 550B A55B को फाइन-ट्यून करते समय, यह AutoModel के बिना संभव नहीं था। यह 30B MoE मॉडलों (जैसे Qwen3-30B-A3B) पर भी स्पष्ट प्रदर्शन लाभ प्रदान करती है।
मुख्य जानकारी
- NVIDIA NeMo AutoModel एक ओपन-सोर्स लाइब्रेरी है जो Transformers v5 पर आधारित है। यह Expert…
- 7 गुना अधिक प्रशिक्षण थ्रूपुट और 29–32% कम GPU मेमोरी का उपयोग करती है। 16 नोड्स और 128 H100 पर…
- यह AutoModel के बिना संभव नहीं था। यह 30B MoE मॉडलों (जैसे Qwen3-30B-A3B) पर भी स्पष्ट प्रदर्शन…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 66
英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: NVIDIA NeMo AutoModel: एक लाइन कोड के साथ Transformer MoE मॉडल फाइन-ट्यूनिंग में तेजी। 25 जून 2026। https://new.nat6.net/hi/news/cmqs9yjcy0187slfupnhipvhf/