cuLA: viết lại linear attention bằng CUDA
Tóm tắt AI
cuLA là bộ thư viện kernel CUDA hiệu năng cao dành cho các biến thể linear attention như GLA, KDA. Được triển khai bằng CuTe DSL và CUTLASS C++ tối ưu thủ công, thư viện thích ứng sâu với các kiến trúc GPU thế hệ mới như NVIDIA Hopper và Blackwell, nhằm chuyển thuật toán phức tạp thành toán tử hiệu năng cao có thể gọi trực tiếp. Giao diện tương thích với flash-linear-attention; nhà phát triển chỉ cần sửa một dòng import để tích hợp với chi phí thấp. Kiểm tra hiệu năng cho thấy kernel của thư viện đạt tốc độ tăng trung bình tối đa 1,52 lần so với triển khai cơ sở Triton trên GPU Blackwell và Hopper. Dự án đã mã nguồn mở và dự kiến tích hợp vào cơ chế điều phối thống nhất của FLA trong tương lai.
Thông tin chính
- cuLA là bộ thư viện kernel CUDA hiệu năng cao dành cho các biến thể linear attention như GLA,KDA.
- Được triển khai bằng CuTe DSL và CUTLASS C++ tối ưu thủ công,thư viện thích ứng sâu với các kiến…
- Giao diện tương thích với flash-linear-attention
- nhà phát triển chỉ cần sửa một dòng import để tích hợp với chi phí thấp.
- Kiểm tra hiệu năng cho thấy kernel của thư viện đạt tốc độ tăng trung bình tối đa 1,52 lần so với…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- 蚂蚁百灵:Developer Blog(网页)
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 66
蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: cuLA: viết lại linear attention bằng CUDA. 8 tháng 4 2026. https://new.nat6.net/vi/news/cmoecv1p6003qsl19n5usdt4x/