Optimiser Ling-2.6-1T sur TPU avec SGLang-JAX : un noyau Pallas masque les transferts de données MoE dans le calcul
Titre original:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen
Résumé IA
SGLang-JAX prend désormais en charge l'inférence efficace de Ling-2.6-1T d'inclusionAI (MoE clairsemé de 1T, 63B de paramètres activés, 256 experts routés, top-8 plus expert partagé) sur TPU v7x. L'équipe a développé Fused MoE V2, un noyau Pallas fusionnant scatter, FFN d'experts et gather, qui masque les transferts de données MoE dans le calcul : la latence de préremplissage MoE passe de 5,16 ms à 2,42 ms (-53 %) et celle du noyau de décodage de 0,249 ms à 0,211 ms (environ -15 %). Le seul remplacement du noyau MoE améliore le débit de préremplissage de 24,8 % et celui de décodage de 18,5 % à 35,3 %. Dans le benchmark de décodage SGLang, 16 puces TPU v7x atteignent 1,29 fois (mc=128) à 1,77 fois (mc=512) le débit de sortie de 16 GPU H200. La mise en production complète inclut aussi un pool mémoire hybride KV/récurrent, l'attention linéaire GLA et le parallélisme de données à contrôleur unique.
Points clés
- SGLang-JAX prend désormais en charge l'inférence efficace de Ling-2.
- 6-1T d'inclusionAI (MoE clairsemé de 1T,63B de paramètres activés,256 experts routés,top-8 plus…
- L'équipe a développé Fused MoE V2,un noyau Pallas fusionnant scatter,FFN d'experts et gather,qui…
- Le seul remplacement du noyau MoE améliore le débit de préremplissage de 24,8 % et celui de…
- Dans le benchmark de décodage SGLang,16 puces TPU v7x atteignent 1,29 fois (mc=128) à 1,77 fois…
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Articles et recherche
- Score IA
- 69
这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Optimiser Ling-2.6-1T sur TPU avec SGLang-JAX : un noyau Pallas masque les transferts de données MoE dans le calcul. 17. juin 2026. https://new.nat6.net/fr/news/cmqiddvsx07xcslf0wcefjhm6/