Makalah & Riset

Meningkatkan efisiensi penalaran model MoE melalui warp decode

Judul asli:Better MoE model inference with warp decode

Ringkasan AI

Untuk decoding batch kecil pada GPU Blackwell, penelitian mengusulkan metode baru bernama "warp decode". Metode ini membalik jalur komputasi tradisional yang berpusat pada pakar, dengan menetapkan setiap warp GPU bertanggung jawab menghitung satu neuron keluaran. Perubahan mendasar ini menghilangkan lima langkah "pembukuan" yang murni pengelolaan data dalam alur sebelumnya, dan memadatkan seluruh lapisan komputasi MoE menjadi hanya dua kernel. Keunggulannya adalah menghindari padding, penyebaran, dan baca-tulis buffer perantara, serta memungkinkan penjadwalan lebih baik melalui independensi warp. Pada GPU Blackwell, metode ini mencapai peningkatan throughput 1,84 kali dengan presisi keluaran lebih tinggi, selisih terhadap referensi FP32 penuh menyusut 1,4 kali, sehingga mempercepat proses riset dan pengembangan model.

Poin utama

  • Untuk decoding batch kecil pada GPU Blackwell,penelitian mengusulkan metode baru bernama "warp…
  • Metode ini membalik jalur komputasi tradisional yang berpusat pada pakar,dengan menetapkan setiap…
  • Perubahan mendasar ini menghilangkan lima langkah "pembukuan" yang murni pengelolaan data dalam…
  • Keunggulannya adalah menghindari padding,penyebaran,dan baca-tulis buffer perantara,serta…
  • Pada GPU Blackwell,metode ini mencapai peningkatan throughput 1,84 kali dengan presisi keluaran…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Cursor Blog
Kategori
Makalah & Riset
Skor AI
66
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Meningkatkan efisiensi penalaran model MoE melalui warp decode. 6 April 2026. https://new.nat6.net/id/news/cmosbbgu40075slojjfiqhvmm/

Lihat semua →