Meningkatkan efisiensi penalaran model MoE melalui warp decode
Judul asli:Better MoE model inference with warp decode
Ringkasan AI
Untuk decoding batch kecil pada GPU Blackwell, penelitian mengusulkan metode baru bernama "warp decode". Metode ini membalik jalur komputasi tradisional yang berpusat pada pakar, dengan menetapkan setiap warp GPU bertanggung jawab menghitung satu neuron keluaran. Perubahan mendasar ini menghilangkan lima langkah "pembukuan" yang murni pengelolaan data dalam alur sebelumnya, dan memadatkan seluruh lapisan komputasi MoE menjadi hanya dua kernel. Keunggulannya adalah menghindari padding, penyebaran, dan baca-tulis buffer perantara, serta memungkinkan penjadwalan lebih baik melalui independensi warp. Pada GPU Blackwell, metode ini mencapai peningkatan throughput 1,84 kali dengan presisi keluaran lebih tinggi, selisih terhadap referensi FP32 penuh menyusut 1,4 kali, sehingga mempercepat proses riset dan pengembangan model.
Poin utama
- Untuk decoding batch kecil pada GPU Blackwell,penelitian mengusulkan metode baru bernama "warp…
- Metode ini membalik jalur komputasi tradisional yang berpusat pada pakar,dengan menetapkan setiap…
- Perubahan mendasar ini menghilangkan lima langkah "pembukuan" yang murni pengelolaan data dalam…
- Keunggulannya adalah menghindari padding,penyebaran,dan baca-tulis buffer perantara,serta…
- Pada GPU Blackwell,metode ini mencapai peningkatan throughput 1,84 kali dengan presisi keluaran…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Cursor Blog
- Kategori
- Makalah & Riset
- Skor AI
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Meningkatkan efisiensi penalaran model MoE melalui warp decode. 6 April 2026. https://new.nat6.net/id/news/cmosbbgu40075slojjfiqhvmm/