Papers & Forschung

Optimierung von Ling-2.6-1T auf TPU mit SGLang-JAX: ein Pallas-Kernel versteckt MoE-Datenbewegung in der Berechnung

Originaltitel:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

KI-Zusammenfassung

SGLang-JAX unterstützt jetzt die effiziente Inferenz von inclusionAIs Ling-2.6-1T (1T sparse MoE, 63B aktivierte Parameter, 256 Routing-Experten, Top-8-Routing plus Shared Experts) auf TPU v7x. Das Team entwickelte Fused MoE V2 – einen Pallas-Kernel, der Scatter, Experten-FFN und Gather fusioniert und durch das Verstecken der MoE-Datenbewegung in der Berechnung die MoE-Prefill-Latenz von 5,16 ms auf 2,42 ms senkt (53 % Reduktion) und die Decode-Kernel-Latenz von 0,249 ms auf 0,211 ms (etwa 15 % Reduktion). Allein der Austausch des MoE-Kernels steigert den Prefill-Durchsatz um 24,8 % und den Decode-Durchsatz um 18,5 %–35,3 %. Im SGLang-Decode-Benchmark erreicht der Ausgabedurchsatz von 16 TPU-v7x-Chips das 1,29-Fache (mc=128) bis 1,77-Fache (mc=512) von 16 H200-GPUs. Der vollständige Rollout umfasst zudem einen hybriden KV-/recurrent Memory-Pool, GLA-Linear-Attention und Single-Controller-Datenparallelität.

Kernpunkte

  • SGLang-JAX unterstützt jetzt die effiziente Inferenz von inclusionAIs Ling-2.
  • 6-1T (1T sparse MoE,63B aktivierte Parameter,256 Routing-Experten,Top-8-Routing plus Shared…
  • Das Team entwickelte Fused MoE V2 – einen Pallas-Kernel,der Scatter,Experten-FFN und Gather…
  • Allein der Austausch des MoE-Kernels steigert den Prefill-Durchsatz um 24,8 % und den…
  • Im SGLang-Decode-Benchmark erreicht der Ausgabedurchsatz von 16 TPU-v7x-Chips das 1,29-Fache…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Papers & Forschung
KI-Bewertung
69
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Optimierung von Ling-2.6-1T auf TPU mit SGLang-JAX: ein Pallas-Kernel versteckt MoE-Datenbewegung in der Berechnung. 17. Juni 2026. https://new.nat6.net/de/news/cmqiddvsx07xcslf0wcefjhm6/

Alle ansehen →