SGLang внедрила Waterfill и LPLB для улучшения балансировки нагрузки DeepEP MoE
Оригинальный заголовок:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team
ИИ-резюме
SGLang добавила два метода балансировки нагрузки при планировании для инференса DeepEP MoE: Waterfill распределяет общих экспертов по рангам с меньшей нагрузкой, повышая общую пропускную способность на 1,48–4,66% под нагрузкой обслуживания DeepSeek-V3/R1 и увеличивая лучший показатель на DeepSeek V4 с 49 253 до 51 677 tok/s (+4,92%); LPLB оптимизирует маршрутизацию токенов к резервным копиям экспертов на основе линейного программирования и вместе с EPLB обеспечивает рост пропускной способности на 0,84–7,34% на том же кластере.
Ключевые моменты
- SGLang добавила два метода балансировки нагрузки при планировании для инференса DeepEP MoE:…
- 66% под нагрузкой обслуживания DeepSeek-V3/R1 и увеличивая лучший показатель на DeepSeek V4 с 49…
- LPLB оптимизирует маршрутизацию токенов к резервным копиям экспертов на основе линейного…
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Продукты и приложения
- Оценка ИИ
- 58
SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: SGLang внедрила Waterfill и LPLB для улучшения балансировки нагрузки DeepEP MoE. 26 июня 2026. https://new.nat6.net/ru/news/cmqwtlsg0001nslp0zt3eyzhr/