cuLA: muling pagsulat ng linear attention gamit ang CUDA
AI summary
Ang cuLA ay isang high-performance CUDA kernel library para sa mga linear attention variant tulad ng GLA at KDA. Sa pamamagitan ng mano-manong na-optimize na CuTe DSL at CUTLASS C++ implementation, malalim itong umaangkop sa mga bagong henerasyong GPU architecture tulad ng NVIDIA Hopper at Blackwell, na naglalayong gawing direktang magagamit na high-performance operator ang kumplikadong algorithm. Ang interface nito ay pare-pareho sa flash-linear-attention; kailangan lamang ng developer na baguhin ang isang linya ng import upang makapasok nang mababa ang gastos. Ipinapakita ng performance test na ang kernel nito sa Blackwell at Hopper GPU ay may average na speedup na hanggang 1.52 beses kumpara sa Triton baseline implementation. Ang proyektong ito ay open source na, at planong isama sa unified scheduling mechanism ng FLA sa hinaharap.
Mahahalagang impormasyon
- Ang cuLA ay isang high-performance CUDA kernel library para sa mga linear attention variant tulad…
- Sa pamamagitan ng mano-manong na-optimize na CuTe DSL at CUTLASS C++ implementation,malalim itong…
- Ang interface nito ay pare-pareho sa flash-linear-attention
- kailangan lamang ng developer na baguhin ang isang linya ng import upang makapasok nang mababa ang…
- Ipinapakita ng performance test na ang kernel nito sa Blackwell at Hopper GPU ay may average na…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 蚂蚁百灵:Developer Blog(网页)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 66
蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: cuLA: muling pagsulat ng linear attention gamit ang CUDA. 8 Abril 2026. https://new.nat6.net/fil/news/cmoecv1p6003qsl19n5usdt4x/