产品与应用

cuLA:用 CUDA 重写线性注意力

AI 摘要

cuLA是一套面向GLA、KDA等线性注意力变体的高性能CUDA内核库。它通过手工优化的CuTe DSL与CUTLASS C++实现,深度适配NVIDIA Hopper和Blackwell等新一代GPU架构,旨在将复杂算法转化为可直接调用的高性能算子。其接口与flash-linear-attention保持一致,开发者仅需修改一行import即可低成本接入。性能测试显示,其内核在Blackwell和Hopper GPU上相比Triton基线实现,平均加速比最高达1.52倍。该项目已开源,并计划未来集成至FLA的统一调度机制中。

关键信息

  • cuLA是一套面向GLA、KDA等线性注意力变体的高性能CUDA内核库。
  • 它通过手工优化的CuTe DSL与CUTLASS C++实现,深度适配NVIDIA Hopper和Blackwell等新一代GPU架构,旨在将复杂算法转化为可直接调用的高性能算子。
  • 其接口与flash-linear-attention保持一致,开发者仅需修改一行import即可低成本接入。
  • 性能测试显示,其内核在Blackwell和Hopper GPU上相比Triton基线实现,平均加速比最高达1.
  • 该项目已开源,并计划未来集成至FLA的统一调度机制中

速览

发布时间
更新时间
来源
蚂蚁百灵:Developer Blog(网页)
分类
产品与应用
AI 评分
66
阅读原文 前往信息源阅读完整正文
推荐理由

蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:cuLA:用 CUDA 重写线性注意力。2026年4月8日。https://new.nat6.net/news/cmoecv1p6003qsl19n5usdt4x/

查看全部 →
  • Bugbot 现可通过学习规则实现自我改进

    Bugbot 的 bug 解决率已从 2025 年 7 月正式推出时的 52% 提升至近 80%,领先其他 AI 代码审查产品。其核心改进在于引入了规则学习机制,能够从实时代码审查反馈(如开发者反应、回复和人工评审意见)中自主学习,取代了…

    Cursor Blog产品与应用AI 评分 66

  • Claude Cowork 正式上线企业版功能

    Claude Cowork 向所有付费用户正式开放,并推出企业级管理控制功能。企业版管理员现可配置基于角色的访问权限、团队支出预算及 OpenTelemetry 可观测性,通过面板追踪 DAU/WAU/MAU 等使用数据。新增 Zoom…

    Claude:Blog(网页)产品与应用AI 评分 64

  • TorchTPU:在谷歌规模上原生运行 PyTorch 于 TPU

    TorchTPU 是一个新的工程栈,旨在让 PyTorch 工作负载以最小代码改动在谷歌 TPU 基础设施上获得原生高性能体验。它采用“Eager First”设计,提供多执行模式,并利用 XLA 编译器优化大规模集群的分布式训练。项目计…

    Google Developers Blog(RSS)产品与应用AI 评分 67

  • 顾问策略:为智能体提供智能升级

    Anthropic 在 Claude Platform 推出 advisor tool 测试版,实现"顾问策略":以 Opus 为顾问模型,Sonnet 或 Haiku 为执行模型。执行模型全程主导任务,仅在遇到决策难题时咨询 Opus…

    Claude:Blog(网页)产品与应用AI 评分 79