論文・研究

SGLang-JAXでTPU上のLing-2.6-1Tを最適化:1つのPallasカーネルがMoEのデータ移動を計算に隠蔽

原題:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

AI 要約

SGLang-JAXは現在、inclusionAIのLing-2.6-1T(1TスパースMoE、63Bアクティブパラメータ、256ルーティングエキスパート、top-8ルーティングと共有エキスパート)のTPU v7x上での効率的な推論をサポートする。チームはFused MoE V2を開発した。これはscatter、エキスパートFFN、gatherを融合したPallasカーネルで、MoEのデータ移動を計算に隠蔽することで、MoEプリフィル遅延を5.16msから2.42msへ(53%削減)、デコードカーネル遅延を0.249msから0.211msへ(約15%削減)した。MoEカーネルの置き換えのみでプリフィルスループットが24.8%、デコードスループットが18.5%~35.3%向上した。SGLangデコードベンチマークでは、16枚のTPU v7xチップの出力スループットが16枚のH200 GPUの1.29倍(mc=128)から1.77倍(mc=512)に達した。完全なローンチには、ハイブリッドKV/リカレントメモリプール、GLA線形アテンション、単一コントローラのデータ並列サポートも含まれる。

要点

  • SGLang-JAXは現在、inclusionAIのLing-2.
  • 6-1T(1TスパースMoE、63Bアクティブパラメータ、256ルーティングエキスパート、top-8ルーティングと共有エキスパート)のTPU v7x上での効率的な推論をサポートする。
  • チームはFused MoE V2を開発した。
  • これはscatter、エキスパートFFN、gatherを融合したPallasカーネルで、MoEのデータ移動を計算に隠蔽することで、MoEプリフィル遅延を5.
  • 16msから2.

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
論文・研究
AI スコア
69
原文を読む 情報源で全文を読む
おすすめの理由

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:SGLang-JAXでTPU上のLing-2.6-1Tを最適化:1つのPallasカーネルがMoEのデータ移動を計算に隠蔽。2026年6月17日。https://new.nat6.net/ja/news/cmqiddvsx07xcslf0wcefjhm6/

すべて見る →