ปรับแต่ง Ling-2.6-1T บน TPU ด้วย SGLang-JAX: Pallas kernel เดียวซ่อนการเคลื่อนย้ายข้อมูล MoE ไว้ในการคำนวณ
หัวข้อต้นฉบับ:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen
สรุปโดย AI
SGLang-JAX รองรับการอนุมานที่มีประสิทธิภาพของ Ling-2.6-1T จาก inclusionAI (MoE แบบ sparse 1T พารามิเตอร์เปิดใช้งาน 63B ผู้เชี่ยวชาญเส้นทาง 256 ราย top-8 routing พร้อมผู้เชี่ยวชาญร่วม) บน TPU v7x ทีมพัฒนาสร้าง Fused MoE V2 ซึ่งเป็น Pallas kernel ที่รวม scatter, FFN ของผู้เชี่ยวชาญ และ gather เข้าด้วยกัน โดยซ่อนการเคลื่อนย้ายข้อมูล MoE ไว้ในการคำนวณ ทำให้เวลาแฝง prefilling ของ MoE ลดจาก 5.16ms เหลือ 2.42ms (ลดลง 53%) และเวลาแฝง kernel decoding ลดจาก 0.249ms เหลือ 0.211ms (ลดลงประมาณ 15%) การเปลี่ยนเฉพาะ kernel MoE ช่วยเพิ่มปริมาณงาน prefilling 24.8% และ decoding 18.5%–35.3% ในการทดสอบ benchmark decoding ของ SGLang ชิป TPU v7x 16 ตัวให้ปริมาณงานเอาต์พุตเป็น 1.29 เท่า (mc=128) ถึง 1.77 เท่า (mc=512) ของ GPU H200 16 ตัว การเปิดใช้งานเต็มรูปแบบยังรวมถึงพูลหน่วยความจำ KV/แบบวนซ้ำแบบผสม, GLA linear attention และการรองรับ data parallel แบบตัวควบคุมเดียว
ข้อมูลสำคัญ
- SGLang-JAX รองรับการอนุมานที่มีประสิทธิภาพของ Ling-2.
- 6-1T จาก inclusionAI (MoE แบบ sparse 1T พารามิเตอร์เปิดใช้งาน 63B ผู้เชี่ยวชาญเส้นทาง 256 ราย…
- 16ms เหลือ 2.
- 42ms (ลดลง 53%) และเวลาแฝง kernel decoding ลดจาก 0.
- 249ms เหลือ 0.
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 69
这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: ปรับแต่ง Ling-2.6-1T บน TPU ด้วย SGLang-JAX: Pallas kernel เดียวซ่อนการเคลื่อนย้ายข้อมูล MoE ไว้ในการคำนวณ 17 มิถุนายน 2026 https://new.nat6.net/th/news/cmqiddvsx07xcslf0wcefjhm6/