Productos y aplicaciones

SGLang incorpora Waterfill y LPLB para mejorar el equilibrio de carga de DeepEP MoE

Título original:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team

Resumen de IA

SGLang añade dos métodos de equilibrio de carga en tiempo de planificación para la inferencia DeepEP MoE: Waterfill asigna expertos compartidos a los ranks con menor carga, lo que eleva el rendimiento total entre un 1,48% y un 4,66% bajo la carga de servicio de DeepSeek-V3/R1, y en DeepSeek V4 mejora el mejor punto de 49.253 tok/s a 51.677 tok/s (+4,92%); LPLB optimiza mediante programación lineal el enrutamiento de tokens hacia copias redundantes de expertos y, junto con EPLB, logra en el mismo clúster un aumento de rendimiento de entre el 0,84% y el 7,34%.

Puntos clave

  • SGLang añade dos métodos de equilibrio de carga en tiempo de planificación para la inferencia…
  • 253 tok/s a 51.
  • 677 tok/s (+4,92%)
  • LPLB optimiza mediante programación lineal el enrutamiento de tokens hacia copias redundantes de…

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Productos y aplicaciones
Puntuación IA
58
Leer el original Leer el artículo completo en la fuente original
Por qué importa

SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: SGLang incorpora Waterfill y LPLB para mejorar el equilibrio de carga de DeepEP MoE. 26. junio 2026. https://new.nat6.net/es/news/cmqwtlsg0001nslp0zt3eyzhr/

Ver todo →