Mga produkto at aplikasyon

cuLA: muling pagsulat ng linear attention gamit ang CUDA

AI summary

Ang cuLA ay isang high-performance CUDA kernel library para sa mga linear attention variant tulad ng GLA at KDA. Sa pamamagitan ng mano-manong na-optimize na CuTe DSL at CUTLASS C++ implementation, malalim itong umaangkop sa mga bagong henerasyong GPU architecture tulad ng NVIDIA Hopper at Blackwell, na naglalayong gawing direktang magagamit na high-performance operator ang kumplikadong algorithm. Ang interface nito ay pare-pareho sa flash-linear-attention; kailangan lamang ng developer na baguhin ang isang linya ng import upang makapasok nang mababa ang gastos. Ipinapakita ng performance test na ang kernel nito sa Blackwell at Hopper GPU ay may average na speedup na hanggang 1.52 beses kumpara sa Triton baseline implementation. Ang proyektong ito ay open source na, at planong isama sa unified scheduling mechanism ng FLA sa hinaharap.

Mahahalagang impormasyon

  • Ang cuLA ay isang high-performance CUDA kernel library para sa mga linear attention variant tulad…
  • Sa pamamagitan ng mano-manong na-optimize na CuTe DSL at CUTLASS C++ implementation,malalim itong…
  • Ang interface nito ay pare-pareho sa flash-linear-attention
  • kailangan lamang ng developer na baguhin ang isang linya ng import upang makapasok nang mababa ang…
  • Ipinapakita ng performance test na ang kernel nito sa Blackwell at Hopper GPU ay may average na…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
蚂蚁百灵:Developer Blog(网页)
Kategorya
Mga produkto at aplikasyon
AI na marka
66
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: cuLA: muling pagsulat ng linear attention gamit ang CUDA. 8 Abril 2026. https://new.nat6.net/fil/news/cmoecv1p6003qsl19n5usdt4x/

Tingnan lahat →