SGLang、WaterfillとLPLBを導入しDeepEP MoEの負荷分散を改善
原題:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team
AI 要約
SGLangはDeepEP MoE推論向けに2つのスケジューリング時の負荷分散手法を追加した。Waterfillは共有エキスパートを負荷の低いrankに割り当て、DeepSeek-V3/R1のサービス負荷下で総スループットを1.48%~4.66%向上させ、DeepSeek V4では最良点が49,253 tok/sから51,677 tok/s(+4.92%)に向上した。LPLBは線形計画に基づき冗長エキスパートコピーのトークンルーティングを最適化し、EPLBと組み合わせて同一クラスタでスループットを0.84%~7.34%向上させる。
要点
- SGLangはDeepEP MoE推論向けに2つのスケジューリング時の負荷分散手法を追加した。
- Waterfillは共有エキスパートを負荷の低いrankに割り当て、DeepSeek-V3/R1のサービス負荷下で総スループットを1.
- 66%向上させ、DeepSeek V4では最良点が49,253 tok/sから51,677 tok/s(+4.
- 92%)に向上した。
- LPLBは線形計画に基づき冗長エキスパートコピーのトークンルーティングを最適化し、EPLBと組み合わせて同一クラスタでスループットを0.
概要
- 公開日時
- 更新日時
- 出典
- LMSYS Blog
- カテゴリ
- 製品とアプリ
- AI スコア
- 58
SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:SGLang、WaterfillとLPLBを導入しDeepEP MoEの負荷分散を改善。2026年6月26日。https://new.nat6.net/ja/news/cmqwtlsg0001nslp0zt3eyzhr/