cuLA:用 CUDA 重写线性注意力
AI 摘要
cuLA是一套面向GLA、KDA等线性注意力变体的高性能CUDA内核库。它通过手工优化的CuTe DSL与CUTLASS C++实现,深度适配NVIDIA Hopper和Blackwell等新一代GPU架构,旨在将复杂算法转化为可直接调用的高性能算子。其接口与flash-linear-attention保持一致,开发者仅需修改一行import即可低成本接入。性能测试显示,其内核在Blackwell和Hopper GPU上相比Triton基线实现,平均加速比最高达1.52倍。该项目已开源,并计划未来集成至FLA的统一调度机制中。
关键信息
- cuLA是一套面向GLA、KDA等线性注意力变体的高性能CUDA内核库。
- 它通过手工优化的CuTe DSL与CUTLASS C++实现,深度适配NVIDIA Hopper和Blackwell等新一代GPU架构,旨在将复杂算法转化为可直接调用的高性能算子。
- 其接口与flash-linear-attention保持一致,开发者仅需修改一行import即可低成本接入。
- 性能测试显示,其内核在Blackwell和Hopper GPU上相比Triton基线实现,平均加速比最高达1.
- 该项目已开源,并计划未来集成至FLA的统一调度机制中
速览
- 发布时间
- 更新时间
- 分类
- 产品与应用
- AI 评分
- 66
推荐理由
蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:cuLA:用 CUDA 重写线性注意力。2026年4月8日。https://new.nat6.net/news/cmoecv1p6003qsl19n5usdt4x/