DeepSeek-V4-Pro सेवा सीमा का उल्लंघन: H20 पर बहु-परिदृश्य अनुकूलन विधियाँ
मूल शीर्षक:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang
AI सारांश
LMSYS टीम ने 1.6 ट्रिलियन पैरामीटर वाले MoE मॉडल DeepSeek-V4-Pro के लिए H20 GPU पर परिदृश्य-आधारित सेवा कॉन्फ़िगरेशन के माध्यम से B300 के प्रदर्शन के करीब पहुँचने का काम किया। एकल-नोड H20-141GB संदर्भ कार्यान्वयन 271 output tokens/s तक पहुँचता है, जिससे B300 के 383.7 tokens/s के साथ प्रदर्शन अंतर 1.42× तक सिकुड़ गया है।
मुख्य जानकारी
- LMSYS टीम ने 1.
- 6 ट्रिलियन पैरामीटर वाले MoE मॉडल DeepSeek-V4-Pro के लिए H20 GPU पर परिदृश्य-आधारित सेवा…
- 7 tokens/s के साथ प्रदर्शन अंतर 1.
- 42× तक सिकुड़ गया है।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- LMSYS Blog
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 73
文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: DeepSeek-V4-Pro सेवा सीमा का उल्लंघन: H20 पर बहु-परिदृश्य अनुकूलन विधियाँ। 19 अगस्त 2026। https://new.nat6.net/hi/news/cmt0e7sxo01eiro2o4l4y9jmh/