Nâng hiệu quả suy luận mô hình MoE bằng warp decode
Tiêu đề gốc:Better MoE model inference with warp decode
Tóm tắt AI
Với giải mã lô nhỏ trên GPU Blackwell, nghiên cứu đề xuất phương pháp mới "warp decode". Phương pháp đảo ngược đường tính toán lấy chuyên gia làm trung tâm truyền thống, chuyển sang mỗi warp GPU phụ trách tính một neuron đầu ra. Thay đổi căn bản này loại bỏ năm bước "ghi sổ" thuần quản lý dữ liệu trong quy trình cũ, nén toàn bộ tầng tính toán MoE thành chỉ hai kernel. Ưu điểm là tránh đệm, phân tán và đọc ghi bộ đệm trung gian, đồng thời nhờ tính độc lập của warp đạt lập lịch tốt hơn. Trên GPU Blackwell, phương pháp đạt thông lượng tăng 1,84 lần, độ chính xác đầu ra cao hơn, khoảng cách với tham chiếu FP32 đầy đủ giảm 1,4 lần, tăng tốc hiệu quả quy trình phát triển mô hình.
Thông tin chính
- Với giải mã lô nhỏ trên GPU Blackwell,nghiên cứu đề xuất phương pháp mới "warp decode".
- Phương pháp đảo ngược đường tính toán lấy chuyên gia làm trung tâm truyền thống,chuyển sang mỗi…
- Thay đổi căn bản này loại bỏ năm bước "ghi sổ" thuần quản lý dữ liệu trong quy trình cũ,nén toàn…
- Ưu điểm là tránh đệm,phân tán và đọc ghi bộ đệm trung gian,đồng thời nhờ tính độc lập của warp đạt…
- Trên GPU Blackwell,phương pháp đạt thông lượng tăng 1,84 lần,độ chính xác đầu ra cao hơn,khoảng…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Cursor Blog
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Nâng hiệu quả suy luận mô hình MoE bằng warp decode. 6 tháng 4 2026. https://new.nat6.net/vi/news/cmosbbgu40075slojjfiqhvmm/