Makalah & Riset

Mengoptimalkan Ling-2.6-1T di TPU dengan SGLang-JAX: satu kernel Pallas menyembunyikan perpindahan data MoE dalam komputasi

Judul asli:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

Ringkasan AI

SGLang-JAX kini mendukung inferensi efisien Ling-2.6-1T dari inclusionAI (MoE sparse 1T, 63B parameter aktif, 256 pakar routing, routing top-8 ditambah pakar bersama) di TPU v7x. Tim mengembangkan Fused MoE V2—kernel Pallas yang menggabungkan scatter, FFN pakar, dan gather—yang menyembunyikan perpindahan data MoE dalam komputasi sehingga latensi prefilling MoE turun dari 5,16 ms menjadi 2,42 ms (penurunan 53%), dan latensi kernel decoding turun dari 0,249 ms menjadi 0,211 ms (penurunan sekitar 15%). Hanya dengan mengganti kernel MoE, throughput prefilling meningkat 24,8% dan throughput decoding 18,5%–35,3%. Dalam benchmark decoding SGLang, throughput keluaran 16 chip TPU v7x mencapai 1,29 kali (mc=128) hingga 1,77 kali (mc=512) dari 16 GPU H200. Peluncuran lengkap juga mencakup kumpulan memori KV/recurrent hibrida, perhatian linear GLA, dan dukungan paralel data pengontrol tunggal.

Poin utama

  • SGLang-JAX kini mendukung inferensi efisien Ling-2.
  • 6-1T dari inclusionAI (MoE sparse 1T,63B parameter aktif,256 pakar routing,routing top-8 ditambah…
  • Tim mengembangkan Fused MoE V2—kernel Pallas yang menggabungkan scatter,FFN pakar,dan gather—yang…
  • Hanya dengan mengganti kernel MoE,throughput prefilling meningkat 24,8% dan throughput decoding…
  • Dalam benchmark decoding SGLang,throughput keluaran 16 chip TPU v7x mencapai 1,29 kali (mc=128)…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Makalah & Riset
Skor AI
69
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Mengoptimalkan Ling-2.6-1T di TPU dengan SGLang-JAX: satu kernel Pallas menyembunyikan perpindahan data MoE dalam komputasi. 17 Juni 2026. https://new.nat6.net/id/news/cmqiddvsx07xcslf0wcefjhm6/

Lihat semua →