SGLang introduit Waterfill et LPLB pour améliorer l'équilibrage de charge DeepEP MoE
Titre original:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team
Résumé IA
SGLang ajoute deux méthodes d'équilibrage de charge lors de la planification pour l'inférence DeepEP MoE : Waterfill attribue les experts partagés aux rangs les moins chargés, augmentant le débit total de 1,48 % à 4,66 % sous la charge de service DeepSeek-V3/R1, et faisant passer le meilleur point sur DeepSeek V4 de 49 253 tok/s à 51 677 tok/s (+4,92 %) ; LPLB optimise le routage des tokens vers des copies redondantes d'experts via la programmation linéaire, permettant avec EPLB une augmentation du débit de 0,84 % à 7,34 % sur le même cluster.
Points clés
- SGLang ajoute deux méthodes d'équilibrage de charge lors de la planification pour l'inférence…
- augmentant le débit total de 1,66 % sous la charge de service DeepSeek-V3/R1,et faisant passer le…
- LPLB optimise le routage des tokens vers des copies redondantes d'experts via la programmation…
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Produits et applications
- Score IA
- 58
SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : SGLang introduit Waterfill et LPLB pour améliorer l'équilibrage de charge DeepEP MoE. 26. juin 2026. https://new.nat6.net/fr/news/cmqwtlsg0001nslp0zt3eyzhr/