Sản phẩm & ứng dụng

cuLA: viết lại linear attention bằng CUDA

Tóm tắt AI

cuLA là bộ thư viện kernel CUDA hiệu năng cao dành cho các biến thể linear attention như GLA, KDA. Được triển khai bằng CuTe DSL và CUTLASS C++ tối ưu thủ công, thư viện thích ứng sâu với các kiến trúc GPU thế hệ mới như NVIDIA Hopper và Blackwell, nhằm chuyển thuật toán phức tạp thành toán tử hiệu năng cao có thể gọi trực tiếp. Giao diện tương thích với flash-linear-attention; nhà phát triển chỉ cần sửa một dòng import để tích hợp với chi phí thấp. Kiểm tra hiệu năng cho thấy kernel của thư viện đạt tốc độ tăng trung bình tối đa 1,52 lần so với triển khai cơ sở Triton trên GPU Blackwell và Hopper. Dự án đã mã nguồn mở và dự kiến tích hợp vào cơ chế điều phối thống nhất của FLA trong tương lai.

Thông tin chính

  • cuLA là bộ thư viện kernel CUDA hiệu năng cao dành cho các biến thể linear attention như GLA,KDA.
  • Được triển khai bằng CuTe DSL và CUTLASS C++ tối ưu thủ công,thư viện thích ứng sâu với các kiến…
  • Giao diện tương thích với flash-linear-attention
  • nhà phát triển chỉ cần sửa một dòng import để tích hợp với chi phí thấp.
  • Kiểm tra hiệu năng cho thấy kernel của thư viện đạt tốc độ tăng trung bình tối đa 1,52 lần so với…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
蚂蚁百灵:Developer Blog(网页)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
66
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: cuLA: viết lại linear attention bằng CUDA. 8 tháng 4 2026. https://new.nat6.net/vi/news/cmoecv1p6003qsl19n5usdt4x/

Xem tất cả →