製品とアプリ

SGLang、WaterfillとLPLBを導入しDeepEP MoEの負荷分散を改善

原題:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team

AI 要約

SGLangはDeepEP MoE推論向けに2つのスケジューリング時の負荷分散手法を追加した。Waterfillは共有エキスパートを負荷の低いrankに割り当て、DeepSeek-V3/R1のサービス負荷下で総スループットを1.48%~4.66%向上させ、DeepSeek V4では最良点が49,253 tok/sから51,677 tok/s(+4.92%)に向上した。LPLBは線形計画に基づき冗長エキスパートコピーのトークンルーティングを最適化し、EPLBと組み合わせて同一クラスタでスループットを0.84%~7.34%向上させる。

要点

  • SGLangはDeepEP MoE推論向けに2つのスケジューリング時の負荷分散手法を追加した。
  • Waterfillは共有エキスパートを負荷の低いrankに割り当て、DeepSeek-V3/R1のサービス負荷下で総スループットを1.
  • 66%向上させ、DeepSeek V4では最良点が49,253 tok/sから51,677 tok/s(+4.
  • 92%)に向上した。
  • LPLBは線形計画に基づき冗長エキスパートコピーのトークンルーティングを最適化し、EPLBと組み合わせて同一クラスタでスループットを0.

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
製品とアプリ
AI スコア
58
原文を読む 情報源で全文を読む
おすすめの理由

SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:SGLang、WaterfillとLPLBを導入しDeepEP MoEの負荷分散を改善。2026年6月26日。https://new.nat6.net/ja/news/cmqwtlsg0001nslp0zt3eyzhr/

すべて見る →