Meningkatkan kecekapan penaakulan model MoE melalui warp decode
Tajuk asal:Better MoE model inference with warp decode
Ringkasan AI
Bagi penyahkodan kelompok kecil pada GPU Blackwell, kajian mencadangkan kaedah baharu bernama "warp decode". Kaedah ini menterbalikkan laluan pengiraan tradisional yang berpusatkan pakar, sebaliknya membiarkan setiap warp GPU bertanggungjawab mengira satu neuron output. Perubahan asas ini menghapuskan lima langkah "perakaunan" pengurusan data semata-mata dalam proses asal, memampatkan keseluruhan lapisan pengiraan MoE kepada hanya dua kernel. Kelebihannya ialah mengelakkan pengisian, penyebaran dan bacaan/tulisan penimbal perantaraan, serta mencapai penjadualan lebih baik melalui kebebasan warp. Pada GPU Blackwell, kaedah ini mencapai peningkatan daya pemprosesan 1.84 kali ganda, dengan ketepatan output lebih tinggi, jurang dengan rujukan FP32 penuh mengecil 1.4 kali ganda, mempercepatkan proses penyelidikan dan pembangunan model.
Maklumat penting
- Bagi penyahkodan kelompok kecil pada GPU Blackwell,kajian mencadangkan kaedah baharu bernama "warp…
- Kaedah ini menterbalikkan laluan pengiraan tradisional yang berpusatkan pakar,sebaliknya…
- Perubahan asas ini menghapuskan lima langkah "perakaunan" pengurusan data semata-mata dalam proses…
- Kelebihannya ialah mengelakkan pengisian,penyebaran dan bacaan/tulisan penimbal perantaraan,serta…
- Pada GPU Blackwell,kaedah ini mencapai peningkatan daya pemprosesan 1.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Cursor Blog
- Kategori
- Kertas penyelidikan
- Skor AI
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Meningkatkan kecekapan penaakulan model MoE melalui warp decode. 6 April 2026. https://new.nat6.net/ms/news/cmosbbgu40075slojjfiqhvmm/