मॉडल लॉन्च

NVIDIA ने Nemotron-Labs-3-Puzzle-75B-A9B रिलीज़ किया: संकुचित हाइब्रिड MoE मॉडल, सर्वर थ्रूपुट 2.03 गुना बढ़ा

मूल शीर्षक:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

AI सारांश

NVIDIA ने Nemotron-3-Super का संकुचित संस्करण Nemotron-Labs-3-Puzzle-75B-A9B जारी किया है। कुल पैरामीटर 120.7B से घटाकर 75.3B और सक्रिय पैरामीटर 12.8B से 9.3B किए गए हैं, जबकि 88-ब्लॉक हाइब्रिड लेआउट (40 Mamba, 40 MoE, 8 अटेंशन) बरकरार रखा गया है। 8×B200 नोड्स पर, जब 8K/64K परिदृश्यों में उपयोगकर्ता थ्रूपुट ≥100 tok/s होता है, तो सर्वर थ्रूपुट 2.03 गुना बढ़ जाता है। सिंगल H100 पर 1M-token कॉन्करेंसी 1 से बढ़कर 8 हो गई है, और वेट ऑक्यूपेंसी 70 GB से घटकर 44.5 GB हो गई है। इरेटिव पज़ल विधि का औसत स्कोर सिंगल-स्टेप की तुलना में 0.57 अधिक है। ट्रेड-ऑफ: Arena-Hard-V2 में 4.2 अंक और SWE-Bench में 2.6 अंक की कमी आई है। Hugging Face पर BF16, FP8 और NVFP4 चेकपॉइंट उपलब्ध हैं।

मुख्य जानकारी

  • NVIDIA ने Nemotron-3-Super का संकुचित संस्करण Nemotron-Labs-3-Puzzle-75B-A9B जारी किया है। कुल…
  • 7B से घटाकर 75.
  • 3B और सक्रिय पैरामीटर 12.
  • 3B किए गए हैं,जबकि 88-ब्लॉक हाइब्रिड लेआउट (40 Mamba,40 MoE,8 अटेंशन) बरकरार रखा गया है। 8×B200…
  • 03 गुना बढ़ जाता है। सिंगल H100 पर 1M-token कॉन्करेंसी 1 से बढ़कर 8 हो गई है,और वेट ऑक्यूपेंसी 70…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
MarkTechPost(RSS)
श्रेणी
मॉडल लॉन्च
AI स्कोर
70
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: NVIDIA ने Nemotron-Labs-3-Puzzle-75B-A9B रिलीज़ किया: संकुचित हाइब्रिड MoE मॉडल, सर्वर थ्रूपुट 2.03 गुना बढ़ा। 9 जुलाई 2026। https://new.nat6.net/hi/news/cmrd9x7xz01wzih4bch5uoywh/

सभी देखें →