SGLang führt Waterfill und LPLB für bessere DeepEP-MoE-Lastverteilung ein
Originaltitel:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team
KI-Zusammenfassung
SGLang hat zwei neue Methoden zur Lastverteilung während der Planung für DeepEP-MoE-Inferenz eingeführt: Waterfill weist gemeinsame Experten Ranks mit geringerer Last zu und steigert den Gesamtdurchsatz unter DeepSeek-V3/R1-Serving-Last um 1,48 % bis 4,66 %; bei DeepSeek V4 stieg der Bestwert von 49.253 tok/s auf 51.677 tok/s (+4,92 %). LPLB optimiert das Token-Routing redundanter Expertenkopien per linearer Programmierung und erzielt zusammen mit EPLB auf demselben Cluster eine Durchsatzsteigerung von 0,84 % bis 7,34 %.
Kernpunkte
- SGLang hat zwei neue Methoden zur Lastverteilung während der Planung für DeepEP-MoE-Inferenz…
- bei DeepSeek V4 stieg der Bestwert von 49.
- 253 tok/s auf 51.
- 677 tok/s (+4,92 %).
- LPLB optimiert das Token-Routing redundanter Expertenkopien per linearer Programmierung und…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- LMSYS Blog
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 58
SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: SGLang führt Waterfill und LPLB für bessere DeepEP-MoE-Lastverteilung ein. 26. Juni 2026. https://new.nat6.net/de/news/cmqwtlsg0001nslp0zt3eyzhr/