Bài báo & nghiên cứu

Tối ưu Ling-2.6-1T trên TPU với SGLang-JAX: một nhân Pallas ẩn việc di chuyển dữ liệu MoE trong tính toán

Tiêu đề gốc:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

Tóm tắt AI

SGLang-JAX hiện hỗ trợ suy luận hiệu quả trên TPU v7x cho Ling-2.6-1T của inclusionAI (MoE thưa 1T, 63B tham số kích hoạt, 256 chuyên gia định tuyến, định tuyến top-8 cộng chuyên gia chia sẻ). Nhóm phát triển đã tạo Fused MoE V2 — một nhân Pallas hợp nhất scatter, FFN chuyên gia và gather, ẩn việc di chuyển dữ liệu MoE trong tính toán, giúp độ trễ prefill MoE giảm từ 5,16ms xuống 2,42ms (giảm 53%), độ trễ nhân giải mã giảm từ 0,249ms xuống 0,211ms (giảm khoảng 15%). Chỉ thay nhân MoE đã tăng thông lượng prefill 24,8%, thông lượng giải mã 18,5%–35,3%. Trong benchmark giải mã SGLang, 16 chip TPU v7x đạt thông lượng đầu ra gấp 1,29 lần (mc=128) đến 1,77 lần (mc=512) so với 16 GPU H200. Triển khai đầy đủ còn gồm bể bộ nhớ KV/recirculation hỗn hợp, attention tuyến tính GLA và hỗ trợ song song dữ liệu một bộ điều khiển.

Thông tin chính

  • SGLang-JAX hiện hỗ trợ suy luận hiệu quả trên TPU v7x cho Ling-2.
  • 6-1T của inclusionAI (MoE thưa 1T,63B tham số kích hoạt,256 chuyên gia định tuyến,định tuyến top-8…
  • Nhóm phát triển đã tạo Fused MoE V2 — một nhân Pallas hợp nhất scatter,FFN chuyên gia và gather,ẩn…
  • Chỉ thay nhân MoE đã tăng thông lượng prefill 24,8%,thông lượng giải mã 18,5%–35,3%.
  • Trong benchmark giải mã SGLang,16 chip TPU v7x đạt thông lượng đầu ra gấp 1,29 lần (mc=128) đến…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Bài báo & nghiên cứu
Điểm AI
69
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Tối ưu Ling-2.6-1T trên TPU với SGLang-JAX: một nhân Pallas ẩn việc di chuyển dữ liệu MoE trong tính toán. 17 tháng 6 2026. https://new.nat6.net/vi/news/cmqiddvsx07xcslf0wcefjhm6/

Xem tất cả →