Kertas penyelidikan

Meningkatkan kecekapan penaakulan model MoE melalui warp decode

Tajuk asal:Better MoE model inference with warp decode

Ringkasan AI

Bagi penyahkodan kelompok kecil pada GPU Blackwell, kajian mencadangkan kaedah baharu bernama "warp decode". Kaedah ini menterbalikkan laluan pengiraan tradisional yang berpusatkan pakar, sebaliknya membiarkan setiap warp GPU bertanggungjawab mengira satu neuron output. Perubahan asas ini menghapuskan lima langkah "perakaunan" pengurusan data semata-mata dalam proses asal, memampatkan keseluruhan lapisan pengiraan MoE kepada hanya dua kernel. Kelebihannya ialah mengelakkan pengisian, penyebaran dan bacaan/tulisan penimbal perantaraan, serta mencapai penjadualan lebih baik melalui kebebasan warp. Pada GPU Blackwell, kaedah ini mencapai peningkatan daya pemprosesan 1.84 kali ganda, dengan ketepatan output lebih tinggi, jurang dengan rujukan FP32 penuh mengecil 1.4 kali ganda, mempercepatkan proses penyelidikan dan pembangunan model.

Maklumat penting

  • Bagi penyahkodan kelompok kecil pada GPU Blackwell,kajian mencadangkan kaedah baharu bernama "warp…
  • Kaedah ini menterbalikkan laluan pengiraan tradisional yang berpusatkan pakar,sebaliknya…
  • Perubahan asas ini menghapuskan lima langkah "perakaunan" pengurusan data semata-mata dalam proses…
  • Kelebihannya ialah mengelakkan pengisian,penyebaran dan bacaan/tulisan penimbal perantaraan,serta…
  • Pada GPU Blackwell,kaedah ini mencapai peningkatan daya pemprosesan 1.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Cursor Blog
Kategori
Kertas penyelidikan
Skor AI
66
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Meningkatkan kecekapan penaakulan model MoE melalui warp decode. 6 April 2026. https://new.nat6.net/ms/news/cmosbbgu40075slojjfiqhvmm/

Lihat Semua →