SGLang-JAXでTPU上のLing-2.6-1Tを最適化:1つのPallasカーネルがMoEのデータ移動を計算に隠蔽
原題:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen
AI 要約
SGLang-JAXは現在、inclusionAIのLing-2.6-1T(1TスパースMoE、63Bアクティブパラメータ、256ルーティングエキスパート、top-8ルーティングと共有エキスパート)のTPU v7x上での効率的な推論をサポートする。チームはFused MoE V2を開発した。これはscatter、エキスパートFFN、gatherを融合したPallasカーネルで、MoEのデータ移動を計算に隠蔽することで、MoEプリフィル遅延を5.16msから2.42msへ(53%削減)、デコードカーネル遅延を0.249msから0.211msへ(約15%削減)した。MoEカーネルの置き換えのみでプリフィルスループットが24.8%、デコードスループットが18.5%~35.3%向上した。SGLangデコードベンチマークでは、16枚のTPU v7xチップの出力スループットが16枚のH200 GPUの1.29倍(mc=128)から1.77倍(mc=512)に達した。完全なローンチには、ハイブリッドKV/リカレントメモリプール、GLA線形アテンション、単一コントローラのデータ並列サポートも含まれる。
要点
- SGLang-JAXは現在、inclusionAIのLing-2.
- 6-1T(1TスパースMoE、63Bアクティブパラメータ、256ルーティングエキスパート、top-8ルーティングと共有エキスパート)のTPU v7x上での効率的な推論をサポートする。
- チームはFused MoE V2を開発した。
- これはscatter、エキスパートFFN、gatherを融合したPallasカーネルで、MoEのデータ移動を計算に隠蔽することで、MoEプリフィル遅延を5.
- 16msから2.
概要
- 公開日時
- 更新日時
- 出典
- LMSYS Blog
- カテゴリ
- 論文・研究
- AI スコア
- 69
这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:SGLang-JAXでTPU上のLing-2.6-1Tを最適化:1つのPallasカーネルがMoEのデータ移動を計算に隠蔽。2026年6月17日。https://new.nat6.net/ja/news/cmqiddvsx07xcslf0wcefjhm6/