SGLang टीम ने AMD के साथ मिलकर AMD Instinct™ MI355X GPU पर बड़े पैमाने के DeepSeek-R1 डिसएग्रीगेटेड इन्फरेंस को कुल स्वामित्व लागत में प्रतिस्पर्धी बनाया
मूल शीर्षक:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
AI सारांश
SGLang और AMD टीमों ने कई फुल-स्टैक अनुकूलनों के माध्यम से AMD Instinct™ MI355X GPU पर DeepSeek-R1 बड़े मॉडल इन्फरेंस चलाते समय अत्यधिक प्रतिस्पर्धी कुल स्वामित्व लागत हासिल की। 129 tok/s/user की इंटरैक्टिव लेटेंसी पर लागत प्रति मिलियन टोकन $0.169 है, जो NVIDIA B200 (Dynamo TRT-LLM) समाधान से 5% कम और B200 (SGLang) समाधान से 40% कम है। थ्रूपुट के मामले में, 24 AMD GPU ने 2,436 tok/s/GPU हासिल किया, जो 48 GPU का उपयोग करने वाले B200 SGLang समाधान की प्रति-GPU थ्रूपुट से 1.25 गुना अधिक है। मुख्य अनुकूलनों में शामिल हैं: MoRI मिश्रित FP4/FP8 क्वांटाइज़ेशन ऑल-टू-ऑल संचार, MoRI-IO KV Cache बैकएंड, दो-बैच ओवरलैप और SDMA, ROCm पर Specv2 MTP तथा CPU स्ट्रीमिंग अनुकूलन।
मुख्य जानकारी
- SGLang और AMD टीमों ने कई फुल-स्टैक अनुकूलनों के माध्यम से AMD Instinct™ MI355X GPU पर DeepSeek-R1…
- 169 है,जो NVIDIA B200 (Dynamo TRT-LLM) समाधान से 5% कम और B200 (SGLang) समाधान से 40% कम है।…
- 25 गुना अधिक है। मुख्य अनुकूलनों में शामिल हैं: MoRI मिश्रित FP4/FP8 क्वांटाइज़ेशन ऑल-टू-ऑल…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- LMSYS Blog
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: SGLang टीम ने AMD के साथ मिलकर AMD Instinct™ MI355X GPU पर बड़े पैमाने के DeepSeek-R1 डिसएग्रीगेटेड इन्फरेंस को कुल स्वामित्व लागत में प्रतिस्पर्धी बनाया। 28 मई 2026। https://new.nat6.net/hi/news/cmppprn04028nslvyqxgosjyn/