Produits et applications

SGLang introduit Waterfill et LPLB pour améliorer l'équilibrage de charge DeepEP MoE

Titre original:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team

Résumé IA

SGLang ajoute deux méthodes d'équilibrage de charge lors de la planification pour l'inférence DeepEP MoE : Waterfill attribue les experts partagés aux rangs les moins chargés, augmentant le débit total de 1,48 % à 4,66 % sous la charge de service DeepSeek-V3/R1, et faisant passer le meilleur point sur DeepSeek V4 de 49 253 tok/s à 51 677 tok/s (+4,92 %) ; LPLB optimise le routage des tokens vers des copies redondantes d'experts via la programmation linéaire, permettant avec EPLB une augmentation du débit de 0,84 % à 7,34 % sur le même cluster.

Points clés

  • SGLang ajoute deux méthodes d'équilibrage de charge lors de la planification pour l'inférence…
  • augmentant le débit total de 1,66 % sous la charge de service DeepSeek-V3/R1,et faisant passer le…
  • LPLB optimise le routage des tokens vers des copies redondantes d'experts via la programmation…

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Produits et applications
Score IA
58
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : SGLang introduit Waterfill et LPLB pour améliorer l'équilibrage de charge DeepEP MoE. 26. juin 2026. https://new.nat6.net/fr/news/cmqwtlsg0001nslp0zt3eyzhr/

Tout voir →