Tối ưu Ling-2.6-1T trên TPU với SGLang-JAX: một nhân Pallas ẩn việc di chuyển dữ liệu MoE trong tính toán
Tiêu đề gốc:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen
Tóm tắt AI
SGLang-JAX hiện hỗ trợ suy luận hiệu quả trên TPU v7x cho Ling-2.6-1T của inclusionAI (MoE thưa 1T, 63B tham số kích hoạt, 256 chuyên gia định tuyến, định tuyến top-8 cộng chuyên gia chia sẻ). Nhóm phát triển đã tạo Fused MoE V2 — một nhân Pallas hợp nhất scatter, FFN chuyên gia và gather, ẩn việc di chuyển dữ liệu MoE trong tính toán, giúp độ trễ prefill MoE giảm từ 5,16ms xuống 2,42ms (giảm 53%), độ trễ nhân giải mã giảm từ 0,249ms xuống 0,211ms (giảm khoảng 15%). Chỉ thay nhân MoE đã tăng thông lượng prefill 24,8%, thông lượng giải mã 18,5%–35,3%. Trong benchmark giải mã SGLang, 16 chip TPU v7x đạt thông lượng đầu ra gấp 1,29 lần (mc=128) đến 1,77 lần (mc=512) so với 16 GPU H200. Triển khai đầy đủ còn gồm bể bộ nhớ KV/recirculation hỗn hợp, attention tuyến tính GLA và hỗ trợ song song dữ liệu một bộ điều khiển.
Thông tin chính
- SGLang-JAX hiện hỗ trợ suy luận hiệu quả trên TPU v7x cho Ling-2.
- 6-1T của inclusionAI (MoE thưa 1T,63B tham số kích hoạt,256 chuyên gia định tuyến,định tuyến top-8…
- Nhóm phát triển đã tạo Fused MoE V2 — một nhân Pallas hợp nhất scatter,FFN chuyên gia và gather,ẩn…
- Chỉ thay nhân MoE đã tăng thông lượng prefill 24,8%,thông lượng giải mã 18,5%–35,3%.
- Trong benchmark giải mã SGLang,16 chip TPU v7x đạt thông lượng đầu ra gấp 1,29 lần (mc=128) đến…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- LMSYS Blog
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 69
这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Tối ưu Ling-2.6-1T trên TPU với SGLang-JAX: một nhân Pallas ẩn việc di chuyển dữ liệu MoE trong tính toán. 17 tháng 6 2026. https://new.nat6.net/vi/news/cmqiddvsx07xcslf0wcefjhm6/