Mengoptimumkan Ling-2.6-1T pada TPU dengan SGLang-JAX: satu kernel Pallas menyembunyikan pemindahan data MoE dalam pengiraan
Tajuk asal:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen
Ringkasan AI
SGLang-JAX kini menyokong penaakulan cekap Ling-2.6-1T daripada inclusionAI (MoE jarang 1T, 63B parameter aktif, 256 pakar penghalaan, penghalaan top-8 serta pakar dikongsi) pada TPU v7x. Pasukan membangunkan Fused MoE V2—satu kernel Pallas yang menggabungkan scatter, FFN pakar dan gather—dengan menyembunyikan pemindahan data MoE dalam pengiraan, mengurangkan kependaman pra-isi MoE daripada 5.16ms kepada 2.42ms (penurunan 53%), dan kependaman kernel penyahkodan daripada 0.249ms kepada 0.211ms (penurunan kira-kira 15%). Menggantikan kernel MoE sahaja meningkatkan daya pemprosesan pra-isi sebanyak 24.8% dan daya pemprosesan penyahkodan sebanyak 18.5%–35.3%. Dalam penanda aras penyahkodan SGLang, daya pemprosesan output 16 cip TPU v7x mencapai 1.29 kali (mc=128) hingga 1.77 kali (mc=512) berbanding 16 GPU H200. Pelancaran penuh turut merangkumi kolam memori KV/kitaran hibrid, perhatian linear GLA dan sokongan selari data pengawal tunggal.
Maklumat penting
- SGLang-JAX kini menyokong penaakulan cekap Ling-2.
- 6-1T daripada inclusionAI (MoE jarang 1T,63B parameter aktif,256 pakar penghalaan,penghalaan top-8…
- Pasukan membangunkan Fused MoE V2—satu kernel Pallas yang menggabungkan scatter,FFN pakar dan…
- 16ms kepada 2.
- 42ms (penurunan 53%),dan kependaman kernel penyahkodan daripada 0.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Kertas penyelidikan
- Skor AI
- 69
这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Mengoptimumkan Ling-2.6-1T pada TPU dengan SGLang-JAX: satu kernel Pallas menyembunyikan pemindahan data MoE dalam pengiraan. 17 Jun 2026. https://new.nat6.net/ms/news/cmqiddvsx07xcslf0wcefjhm6/