Articles et recherche

Optimiser Ling-2.6-1T sur TPU avec SGLang-JAX : un noyau Pallas masque les transferts de données MoE dans le calcul

Titre original:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

Résumé IA

SGLang-JAX prend désormais en charge l'inférence efficace de Ling-2.6-1T d'inclusionAI (MoE clairsemé de 1T, 63B de paramètres activés, 256 experts routés, top-8 plus expert partagé) sur TPU v7x. L'équipe a développé Fused MoE V2, un noyau Pallas fusionnant scatter, FFN d'experts et gather, qui masque les transferts de données MoE dans le calcul : la latence de préremplissage MoE passe de 5,16 ms à 2,42 ms (-53 %) et celle du noyau de décodage de 0,249 ms à 0,211 ms (environ -15 %). Le seul remplacement du noyau MoE améliore le débit de préremplissage de 24,8 % et celui de décodage de 18,5 % à 35,3 %. Dans le benchmark de décodage SGLang, 16 puces TPU v7x atteignent 1,29 fois (mc=128) à 1,77 fois (mc=512) le débit de sortie de 16 GPU H200. La mise en production complète inclut aussi un pool mémoire hybride KV/récurrent, l'attention linéaire GLA et le parallélisme de données à contrôleur unique.

Points clés

  • SGLang-JAX prend désormais en charge l'inférence efficace de Ling-2.
  • 6-1T d'inclusionAI (MoE clairsemé de 1T,63B de paramètres activés,256 experts routés,top-8 plus…
  • L'équipe a développé Fused MoE V2,un noyau Pallas fusionnant scatter,FFN d'experts et gather,qui…
  • Le seul remplacement du noyau MoE améliore le débit de préremplissage de 24,8 % et celui de…
  • Dans le benchmark de décodage SGLang,16 puces TPU v7x atteignent 1,29 fois (mc=128) à 1,77 fois…

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Articles et recherche
Score IA
69
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Optimiser Ling-2.6-1T sur TPU avec SGLang-JAX : un noyau Pallas masque les transferts de données MoE dans le calcul. 17. juin 2026. https://new.nat6.net/fr/news/cmqiddvsx07xcslf0wcefjhm6/

Tout voir →