पेपर और शोध

TPU पर SGLang-JAX से Ling-2.6-1T का अनुकूलन: एक Pallas कर्नेल MoE डेटा मूवमेंट को गणना में छिपाता है

मूल शीर्षक:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

AI सारांश

SGLang-JAX अब inclusionAI के Ling-2.6-1T (1T स्पार्स MoE, 63B सक्रिय पैरामीटर, 256 राउटेड एक्सपर्ट, top-8 राउटिंग और साझा एक्सपर्ट) को TPU v7x पर कुशलतापूर्वक इन्फ़रेंस कर सकता है। टीम ने Fused MoE V2 विकसित किया—एक Pallas कर्नेल जो scatter, एक्सपर्ट FFN और gather को फ्यूज़ करता है और MoE डेटा मूवमेंट को गणना में छिपाकर MoE प्रीफ़िल लेटेंसी को 5.16ms से घटाकर 2.42ms (53% कमी) और डिकोड कर्नेल लेटेंसी को 0.249ms से 0.211ms (लगभग 15% कमी) करता है। केवल MoE कर्नेल बदलने से प्रीफ़िल थ्रूपुट 24.8% और डिकोड थ्रूपुट 18.5%–35.3% बढ़ा। SGLang डिकोड बेंचमार्क में 16 TPU v7x चिप्स का आउटपुट थ्रूपुट 16 H200 GPU के 1.29 गुना (mc=128) से 1.77 गुना (mc=512) तक रहा। पूर्ण रोलआउट में हाइब्रिड KV/रिकरेंट मेमोरी पूल, GLA लीनियर अटेंशन और सिंगल-कंट्रोलर डेटा पैरेलल सपोर्ट भी शामिल है।

मुख्य जानकारी

  • SGLang-JAX अब inclusionAI के Ling-2.
  • 6-1T (1T स्पार्स MoE,63B सक्रिय पैरामीटर,256 राउटेड एक्सपर्ट,top-8 राउटिंग और साझा एक्सपर्ट) को…
  • 16ms से घटाकर 2.
  • 42ms (53% कमी) और डिकोड कर्नेल लेटेंसी को 0.
  • 249ms से 0.

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
LMSYS Blog
श्रेणी
पेपर और शोध
AI स्कोर
69
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: TPU पर SGLang-JAX से Ling-2.6-1T का अनुकूलन: एक Pallas कर्नेल MoE डेटा मूवमेंट को गणना में छिपाता है। 17 जून 2026। https://new.nat6.net/hi/news/cmqiddvsx07xcslf0wcefjhm6/

सभी देखें →