Produk & Aplikasi

cuLA: menulis semula perhatian linear dengan CUDA

Ringkasan AI

cuLA ialah pustaka kernel CUDA berprestasi tinggi untuk varian perhatian linear seperti GLA dan KDA. Melalui CuTe DSL yang dioptimumkan secara manual dan pelaksanaan CUTLASS C++, ia amat disesuaikan dengan seni bina GPU generasi baharu seperti NVIDIA Hopper dan Blackwell, bertujuan mengubah algoritma kompleks menjadi operator berprestasi tinggi yang boleh dipanggil terus. Antara mukaannya konsisten dengan flash-linear-attention; pembangun hanya perlu mengubah satu baris import untuk integrasi kos rendah. Ujian prestasi menunjukkan kernelnya mencapai pecutan purata sehingga 1.52 kali berbanding pelaksanaan asas Triton pada GPU Blackwell dan Hopper. Projek ini telah diterbitkan sebagai sumber terbuka dan dirancang untuk disepadukan ke dalam mekanisme penjadualan bersatu FLA pada masa hadapan.

Maklumat penting

  • cuLA ialah pustaka kernel CUDA berprestasi tinggi untuk varian perhatian linear seperti GLA dan KDA.
  • Melalui CuTe DSL yang dioptimumkan secara manual dan pelaksanaan CUTLASS C++,ia amat disesuaikan…
  • Antara mukaannya konsisten dengan flash-linear-attention
  • pembangun hanya perlu mengubah satu baris import untuk integrasi kos rendah.
  • Ujian prestasi menunjukkan kernelnya mencapai pecutan purata sehingga 1.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁百灵:Developer Blog(网页)
Kategori
Produk & Aplikasi
Skor AI
66
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: cuLA: menulis semula perhatian linear dengan CUDA. 8 April 2026. https://new.nat6.net/ms/news/cmoecv1p6003qsl19n5usdt4x/

Lihat Semua →