Artículos e investigación

Optimizar Ling-2.6-1T en TPU con SGLang-JAX: un kernel Pallas oculta el movimiento de datos MoE en el cómputo

Título original:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

Resumen de IA

SGLang-JAX ya admite la inferencia eficiente en TPU v7x de Ling-2.6-1T de inclusionAI (MoE disperso de 1T, 63B parámetros activos, 256 expertos enrutados, enrutamiento top-8 más experto compartido). El equipo desarrolló Fused MoE V2, un kernel Pallas que fusiona scatter, la FFN de expertos y gather y, al ocultar el movimiento de datos MoE en el cómputo, reduce la latencia de prefill de MoE de 5,16 ms a 2,42 ms (un 53%) y la latencia del kernel de decodificación de 0,249 ms a 0,211 ms (aproximadamente un 15%). Solo con reemplazar el kernel MoE se mejora el rendimiento de prefill un 24,8% y el de decodificación entre un 18,5% y un 35,3%. En el benchmark de decodificación de SGLang, el rendimiento de salida de 16 chips TPU v7x alcanza 1,29 veces (mc=128) a 1,77 veces (mc=512) el de 16 GPU H200. El despliegue completo incluye además un pool de memoria híbrido KV/recurrente, atención lineal GLA y soporte de paralelismo de datos con controlador único.

Puntos clave

  • SGLang-JAX ya admite la inferencia eficiente en TPU v7x de Ling-2.
  • 6-1T de inclusionAI (MoE disperso de 1T,63B parámetros activos,256 expertos enrutados,enrutamiento…
  • El equipo desarrolló Fused MoE V2,un kernel Pallas que fusiona scatter,la FFN de expertos y gather…
  • Solo con reemplazar el kernel MoE se mejora el rendimiento de prefill un 24,8% y el de…
  • En el benchmark de decodificación de SGLang,el rendimiento de salida de 16 chips TPU v7x alcanza…

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Artículos e investigación
Puntuación IA
69
Leer el original Leer el artículo completo en la fuente original
Por qué importa

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Optimizar Ling-2.6-1T en TPU con SGLang-JAX: un kernel Pallas oculta el movimiento de datos MoE en el cómputo. 17. junio 2026. https://new.nat6.net/es/news/cmqiddvsx07xcslf0wcefjhm6/

Ver todo →