Продукты и приложения

SGLang внедрила Waterfill и LPLB для улучшения балансировки нагрузки DeepEP MoE

Оригинальный заголовок:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team

ИИ-резюме

SGLang добавила два метода балансировки нагрузки при планировании для инференса DeepEP MoE: Waterfill распределяет общих экспертов по рангам с меньшей нагрузкой, повышая общую пропускную способность на 1,48–4,66% под нагрузкой обслуживания DeepSeek-V3/R1 и увеличивая лучший показатель на DeepSeek V4 с 49 253 до 51 677 tok/s (+4,92%); LPLB оптимизирует маршрутизацию токенов к резервным копиям экспертов на основе линейного программирования и вместе с EPLB обеспечивает рост пропускной способности на 0,84–7,34% на том же кластере.

Ключевые моменты

  • SGLang добавила два метода балансировки нагрузки при планировании для инференса DeepEP MoE:…
  • 66% под нагрузкой обслуживания DeepSeek-V3/R1 и увеличивая лучший показатель на DeepSeek V4 с 49…
  • LPLB оптимизирует маршрутизацию токенов к резервным копиям экспертов на основе линейного…

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Продукты и приложения
Оценка ИИ
58
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: SGLang внедрила Waterfill и LPLB для улучшения балансировки нагрузки DeepEP MoE. 26 июня 2026. https://new.nat6.net/ru/news/cmqwtlsg0001nslp0zt3eyzhr/

Смотреть все →