SGLang ने DeepEP MoE लोड बैलेंसिंग के लिए Waterfill और LPLB पेश किया
मूल शीर्षक:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team
AI सारांश
SGLang ने DeepEP MoE अनुमान के लिए दो नई शेड्यूलिंग-समय लोड बैलेंसिंग विधियाँ जोड़ी हैं: Waterfill साझा विशेषज्ञों को कम लोड वाले rank को आवंटित करता है, जिससे DeepSeek-V3/R1 सर्विंग लोड के तहत कुल थ्रूपुट 1.48% से 4.66% तक बढ़ता है, और DeepSeek V4 पर सर्वोत्तम बिंदु 49,253 tok/s से 51,677 tok/s (+4.92%) हो जाता है; LPLB रैखिक प्रोग्रामिंग के आधार पर अतिरिक्त विशेषज्ञ प्रतियों के token रूटिंग को अनुकूलित करता है, और EPLB के साथ मिलकर समान क्लस्टर पर 0.84% से 7.34% तक थ्रूपुट वृद्धि प्राप्त करता है।
मुख्य जानकारी
- SGLang ने DeepEP MoE अनुमान के लिए दो नई शेड्यूलिंग-समय लोड बैलेंसिंग विधियाँ जोड़ी हैं: Waterfill…
- 66% तक बढ़ता है,और DeepSeek V4 पर सर्वोत्तम बिंदु 49,253 tok/s से 51,677 tok/s (+4.
- 92%) हो जाता है
- LPLB रैखिक प्रोग्रामिंग के आधार पर अतिरिक्त विशेषज्ञ प्रतियों के token रूटिंग को अनुकूलित करता…
- 34% तक थ्रूपुट वृद्धि प्राप्त करता है।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- LMSYS Blog
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 58
SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: SGLang ने DeepEP MoE लोड बैलेंसिंग के लिए Waterfill और LPLB पेश किया। 26 जून 2026। https://new.nat6.net/hi/news/cmqwtlsg0001nslp0zt3eyzhr/