Pag-optimize ng Ling-2.6-1T sa TPU gamit ang SGLang-JAX: isang Pallas kernel na nagtatago ng MoE data movement sa loob ng computation
Orihinal na pamagat:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen
AI summary
Sinusuportahan na ng SGLang-JAX ang Ling-2.6-1T ng inclusionAI (1T sparse MoE, 63B activated parameters, 256 routed experts, top-8 routing kasama ang shared experts) para sa mahusay na inference sa TPU v7x. Binuo ng team ang Fused MoE V2—isang Pallas kernel na pinagsasama ang scatter, expert FFN, at gather—na nagtatago ng MoE data movement sa loob ng computation, na nagbaba ng MoE prefill latency mula 5.16ms patungong 2.42ms (53% na pagbaba), at ng decode kernel latency mula 0.249ms patungong 0.211ms (humigit-kumulang 15% na pagbaba). Ang pagpapalit lamang ng MoE kernel ay nagtaas ng prefill throughput ng 24.8% at decode throughput ng 18.5%–35.3%. Sa SGLang decode benchmark, ang output throughput ng 16 na TPU v7x chip ay umabot sa 1.29x (mc=128) hanggang 1.77x (mc=512) ng 16 na H200 GPU. Kasama rin sa buong rollout ang hybrid KV/loop memory pool, GLA linear attention, at single-controller data parallelism support.
Mahahalagang impormasyon
- Sinusuportahan na ng SGLang-JAX ang Ling-2.
- 6-1T ng inclusionAI (1T sparse MoE,63B activated parameters,256 routed experts,top-8 routing…
- Binuo ng team ang Fused MoE V2—isang Pallas kernel na pinagsasama ang scatter,expert FFN,at…
- 16ms patungong 2.
- 42ms (53% na pagbaba),at ng decode kernel latency mula 0.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 69
这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pag-optimize ng Ling-2.6-1T sa TPU gamit ang SGLang-JAX: isang Pallas kernel na nagtatago ng MoE data movement sa loob ng computation. 17 Hunyo 2026. https://new.nat6.net/fil/news/cmqiddvsx07xcslf0wcefjhm6/