Mga Papel at Pananaliksik

Pagpapabuti ng MoE model inference efficiency sa pamamagitan ng warp decode

Orihinal na pamagat:Better MoE model inference with warp decode

AI summary

Para sa small-batch decoding sa Blackwell GPU, iminungkahi ng pananaliksik ang isang bagong paraan na tinatawag na "warp decode". Binabaligtad ng paraang ito ang tradisyonal na expert-centric na computation path, at sa halip ay ginagawang responsable ang bawat GPU warp sa pagkalkula ng isang output neuron. Inaalis ng radikal na pagbabagong ito ang limang purong data management na "bookkeeping" step sa dating proseso, at pinipiga ang buong MoE computation layer tungo sa dalawang kernel lamang. Ang bentahe nito ay iniiwasan ang pagbabasa at pagsusulat ng padding, scatter at intermediate buffer, at nakakamit ang mas mahusay na scheduling sa pamamagitan ng warp independence. Sa Blackwell GPU, nakamit ng paraang ito ang 1.84x na pagtaas ng throughput, kasabay ng mas mataas na output precision, na pinaliit ng 1.4x ang agwat sa full FP32 reference value, na epektibong nagpapabilis sa proseso ng model research and development.

Mahahalagang impormasyon

  • Para sa small-batch decoding sa Blackwell GPU,iminungkahi ng pananaliksik ang isang bagong paraan…
  • Binabaligtad ng paraang ito ang tradisyonal na expert-centric na computation path,at sa halip ay…
  • Inaalis ng radikal na pagbabagong ito ang limang purong data management na "bookkeeping" step sa…
  • Ang bentahe nito ay iniiwasan ang pagbabasa at pagsusulat ng padding,scatter at intermediate…
  • Sa Blackwell GPU,nakamit ng paraang ito ang 1.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Cursor Blog
Kategorya
Mga Papel at Pananaliksik
AI na marka
66
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pagpapabuti ng MoE model inference efficiency sa pamamagitan ng warp decode. 6 Abril 2026. https://new.nat6.net/fil/news/cmosbbgu40075slojjfiqhvmm/

Tingnan lahat →