Optimizar Ling-2.6-1T en TPU con SGLang-JAX: un kernel Pallas oculta el movimiento de datos MoE en el cómputo
Título original:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen
Resumen de IA
SGLang-JAX ya admite la inferencia eficiente en TPU v7x de Ling-2.6-1T de inclusionAI (MoE disperso de 1T, 63B parámetros activos, 256 expertos enrutados, enrutamiento top-8 más experto compartido). El equipo desarrolló Fused MoE V2, un kernel Pallas que fusiona scatter, la FFN de expertos y gather y, al ocultar el movimiento de datos MoE en el cómputo, reduce la latencia de prefill de MoE de 5,16 ms a 2,42 ms (un 53%) y la latencia del kernel de decodificación de 0,249 ms a 0,211 ms (aproximadamente un 15%). Solo con reemplazar el kernel MoE se mejora el rendimiento de prefill un 24,8% y el de decodificación entre un 18,5% y un 35,3%. En el benchmark de decodificación de SGLang, el rendimiento de salida de 16 chips TPU v7x alcanza 1,29 veces (mc=128) a 1,77 veces (mc=512) el de 16 GPU H200. El despliegue completo incluye además un pool de memoria híbrido KV/recurrente, atención lineal GLA y soporte de paralelismo de datos con controlador único.
Puntos clave
- SGLang-JAX ya admite la inferencia eficiente en TPU v7x de Ling-2.
- 6-1T de inclusionAI (MoE disperso de 1T,63B parámetros activos,256 expertos enrutados,enrutamiento…
- El equipo desarrolló Fused MoE V2,un kernel Pallas que fusiona scatter,la FFN de expertos y gather…
- Solo con reemplazar el kernel MoE se mejora el rendimiento de prefill un 24,8% y el de…
- En el benchmark de decodificación de SGLang,el rendimiento de salida de 16 chips TPU v7x alcanza…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Artículos e investigación
- Puntuación IA
- 69
这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Optimizar Ling-2.6-1T en TPU con SGLang-JAX: un kernel Pallas oculta el movimiento de datos MoE en el cómputo. 17. junio 2026. https://new.nat6.net/es/news/cmqiddvsx07xcslf0wcefjhm6/