Bài báo & nghiên cứu

Nâng hiệu quả suy luận mô hình MoE bằng warp decode

Tiêu đề gốc:Better MoE model inference with warp decode

Tóm tắt AI

Với giải mã lô nhỏ trên GPU Blackwell, nghiên cứu đề xuất phương pháp mới "warp decode". Phương pháp đảo ngược đường tính toán lấy chuyên gia làm trung tâm truyền thống, chuyển sang mỗi warp GPU phụ trách tính một neuron đầu ra. Thay đổi căn bản này loại bỏ năm bước "ghi sổ" thuần quản lý dữ liệu trong quy trình cũ, nén toàn bộ tầng tính toán MoE thành chỉ hai kernel. Ưu điểm là tránh đệm, phân tán và đọc ghi bộ đệm trung gian, đồng thời nhờ tính độc lập của warp đạt lập lịch tốt hơn. Trên GPU Blackwell, phương pháp đạt thông lượng tăng 1,84 lần, độ chính xác đầu ra cao hơn, khoảng cách với tham chiếu FP32 đầy đủ giảm 1,4 lần, tăng tốc hiệu quả quy trình phát triển mô hình.

Thông tin chính

  • Với giải mã lô nhỏ trên GPU Blackwell,nghiên cứu đề xuất phương pháp mới "warp decode".
  • Phương pháp đảo ngược đường tính toán lấy chuyên gia làm trung tâm truyền thống,chuyển sang mỗi…
  • Thay đổi căn bản này loại bỏ năm bước "ghi sổ" thuần quản lý dữ liệu trong quy trình cũ,nén toàn…
  • Ưu điểm là tránh đệm,phân tán và đọc ghi bộ đệm trung gian,đồng thời nhờ tính độc lập của warp đạt…
  • Trên GPU Blackwell,phương pháp đạt thông lượng tăng 1,84 lần,độ chính xác đầu ra cao hơn,khoảng…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Cursor Blog
Danh mục
Bài báo & nghiên cứu
Điểm AI
66
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Nâng hiệu quả suy luận mô hình MoE bằng warp decode. 6 tháng 4 2026. https://new.nat6.net/vi/news/cmosbbgu40075slojjfiqhvmm/

Xem tất cả →