Produk & Aplikasi

FlashQLA: Kernel perhatian linear berprestasi tinggi dibina atas TileLang

Tajuk asal:🚀 Introducing FlashQLA: high-performance linear attention kernels built on TileLang. ⚡ 2–3× forwar...

Ringkasan AI

FlashQLA ialah kernel perhatian linear berprestasi tinggi yang dibina atas TileLang, direka khusus untuk AI ejen pada peranti peribadi. Inovasi terasnya termasuk paralelisme pengiraan dalam cip automatik yang dipacu gerbang, pembinaan semula algebra mesra perkakasan serta kernel khusus Warp yang digabungkan TileLang. Dengan meningkatkan penggunaan pemproses aliran, ia mencapai pecutan 2-3 kali ganda dalam penyebaran ke hadapan dan 2 kali ganda dalam penyebaran ke belakang. Teknologi ini menunjukkan kesan ketara dalam model kecil, beban kerja konteks panjang dan tetapan selari tensor. Walaupun overhed I/O memori sedikit lebih tinggi semasa pemprosesan kelompok besar, prestasi sebenar lebih baik dalam senario peranti tepi dan konteks panjang. Penyebaran ke belakang mencapai pecutan peringkat teras melalui saluran paip khusus Warp 16 peringkat di bawah had memori atas cip yang ketat. Sumber berkaitan telah diterbitkan secara sumber terbuka.

Maklumat penting

  • FlashQLA ialah kernel perhatian linear berprestasi tinggi yang dibina atas TileLang,direka khusus…
  • Inovasi terasnya termasuk paralelisme pengiraan dalam cip automatik yang dipacu gerbang,pembinaan…
  • Dengan meningkatkan penggunaan pemproses aliran,ia mencapai pecutan 2-3 kali ganda dalam…
  • Teknologi ini menunjukkan kesan ketara dalam model kecil,beban kerja konteks panjang dan tetapan…
  • Walaupun overhed I/O memori sedikit lebih tinggi semasa pemprosesan kelompok besar,prestasi…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
X:通义千问 / Qwen (@Alibaba_Qwen)
Kategori
Produk & Aplikasi
Skor AI
60
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

2 倍加速的背后是 Warp 特化流水线和自动 Copy 策略,像给手机 GPU 开了条专用跑道,做端侧 Agent 的可以直接拉代码试试。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: FlashQLA: Kernel perhatian linear berprestasi tinggi dibina atas TileLang. 29 April 2026. https://new.nat6.net/ms/news/cmok1dwzq018nslz3bcc08gwr/

Lihat Semua →