Pagpapabuti ng MoE model inference efficiency sa pamamagitan ng warp decode
Orihinal na pamagat:Better MoE model inference with warp decode
AI summary
Para sa small-batch decoding sa Blackwell GPU, iminungkahi ng pananaliksik ang isang bagong paraan na tinatawag na "warp decode". Binabaligtad ng paraang ito ang tradisyonal na expert-centric na computation path, at sa halip ay ginagawang responsable ang bawat GPU warp sa pagkalkula ng isang output neuron. Inaalis ng radikal na pagbabagong ito ang limang purong data management na "bookkeeping" step sa dating proseso, at pinipiga ang buong MoE computation layer tungo sa dalawang kernel lamang. Ang bentahe nito ay iniiwasan ang pagbabasa at pagsusulat ng padding, scatter at intermediate buffer, at nakakamit ang mas mahusay na scheduling sa pamamagitan ng warp independence. Sa Blackwell GPU, nakamit ng paraang ito ang 1.84x na pagtaas ng throughput, kasabay ng mas mataas na output precision, na pinaliit ng 1.4x ang agwat sa full FP32 reference value, na epektibong nagpapabilis sa proseso ng model research and development.
Mahahalagang impormasyon
- Para sa small-batch decoding sa Blackwell GPU,iminungkahi ng pananaliksik ang isang bagong paraan…
- Binabaligtad ng paraang ito ang tradisyonal na expert-centric na computation path,at sa halip ay…
- Inaalis ng radikal na pagbabagong ito ang limang purong data management na "bookkeeping" step sa…
- Ang bentahe nito ay iniiwasan ang pagbabasa at pagsusulat ng padding,scatter at intermediate…
- Sa Blackwell GPU,nakamit ng paraang ito ang 1.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Cursor Blog
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pagpapabuti ng MoE model inference efficiency sa pamamagitan ng warp decode. 6 Abril 2026. https://new.nat6.net/fil/news/cmosbbgu40075slojjfiqhvmm/