cuLA: menulis semula perhatian linear dengan CUDA
Ringkasan AI
cuLA ialah pustaka kernel CUDA berprestasi tinggi untuk varian perhatian linear seperti GLA dan KDA. Melalui CuTe DSL yang dioptimumkan secara manual dan pelaksanaan CUTLASS C++, ia amat disesuaikan dengan seni bina GPU generasi baharu seperti NVIDIA Hopper dan Blackwell, bertujuan mengubah algoritma kompleks menjadi operator berprestasi tinggi yang boleh dipanggil terus. Antara mukaannya konsisten dengan flash-linear-attention; pembangun hanya perlu mengubah satu baris import untuk integrasi kos rendah. Ujian prestasi menunjukkan kernelnya mencapai pecutan purata sehingga 1.52 kali berbanding pelaksanaan asas Triton pada GPU Blackwell dan Hopper. Projek ini telah diterbitkan sebagai sumber terbuka dan dirancang untuk disepadukan ke dalam mekanisme penjadualan bersatu FLA pada masa hadapan.
Maklumat penting
- cuLA ialah pustaka kernel CUDA berprestasi tinggi untuk varian perhatian linear seperti GLA dan KDA.
- Melalui CuTe DSL yang dioptimumkan secara manual dan pelaksanaan CUTLASS C++,ia amat disesuaikan…
- Antara mukaannya konsisten dengan flash-linear-attention
- pembangun hanya perlu mengubah satu baris import untuk integrasi kos rendah.
- Ujian prestasi menunjukkan kernelnya mencapai pecutan purata sehingga 1.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 蚂蚁百灵:Developer Blog(网页)
- Kategori
- Produk & Aplikasi
- Skor AI
- 66
蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: cuLA: menulis semula perhatian linear dengan CUDA. 8 April 2026. https://new.nat6.net/ms/news/cmoecv1p6003qsl19n5usdt4x/