Mga Papel at Pananaliksik

Pag-optimize ng Ling-2.6-1T sa TPU gamit ang SGLang-JAX: isang Pallas kernel na nagtatago ng MoE data movement sa loob ng computation

Orihinal na pamagat:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

AI summary

Sinusuportahan na ng SGLang-JAX ang Ling-2.6-1T ng inclusionAI (1T sparse MoE, 63B activated parameters, 256 routed experts, top-8 routing kasama ang shared experts) para sa mahusay na inference sa TPU v7x. Binuo ng team ang Fused MoE V2—isang Pallas kernel na pinagsasama ang scatter, expert FFN, at gather—na nagtatago ng MoE data movement sa loob ng computation, na nagbaba ng MoE prefill latency mula 5.16ms patungong 2.42ms (53% na pagbaba), at ng decode kernel latency mula 0.249ms patungong 0.211ms (humigit-kumulang 15% na pagbaba). Ang pagpapalit lamang ng MoE kernel ay nagtaas ng prefill throughput ng 24.8% at decode throughput ng 18.5%–35.3%. Sa SGLang decode benchmark, ang output throughput ng 16 na TPU v7x chip ay umabot sa 1.29x (mc=128) hanggang 1.77x (mc=512) ng 16 na H200 GPU. Kasama rin sa buong rollout ang hybrid KV/loop memory pool, GLA linear attention, at single-controller data parallelism support.

Mahahalagang impormasyon

  • Sinusuportahan na ng SGLang-JAX ang Ling-2.
  • 6-1T ng inclusionAI (1T sparse MoE,63B activated parameters,256 routed experts,top-8 routing…
  • Binuo ng team ang Fused MoE V2—isang Pallas kernel na pinagsasama ang scatter,expert FFN,at…
  • 16ms patungong 2.
  • 42ms (53% na pagbaba),at ng decode kernel latency mula 0.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Mga Papel at Pananaliksik
AI na marka
69
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pag-optimize ng Ling-2.6-1T sa TPU gamit ang SGLang-JAX: isang Pallas kernel na nagtatago ng MoE data movement sa loob ng computation. 17 Hunyo 2026. https://new.nat6.net/fil/news/cmqiddvsx07xcslf0wcefjhm6/

Tingnan lahat →