cuLA:CUDAで線形注意を書き直す
AI 要約
cuLAはGLAやKDAなどの線形注意バリアント向けの高性能CUDAカーネルライブラリである。手作業で最適化したCuTe DSLとCUTLASS C++で実装し、NVIDIA HopperやBlackwellなど新世代GPUアーキテクチャに深く適合することで、複雑なアルゴリズムを直接呼び出せる高性能演算子に変換することを目指す。インターフェースはflash-linear-attentionと一致し、開発者はimportを1行変更するだけで低コストに導入できる。性能テストでは、BlackwellおよびHopper GPU上でTritonベースライン実装と比べ、平均加速比が最大1.52倍に達した。本プロジェクトはオープンソース化済みで、今後FLAの統一スケジューリング機構への統合を計画している。
要点
- cuLAはGLAやKDAなどの線形注意バリアント向けの高性能CUDAカーネルライブラリである。
- 手作業で最適化したCuTe DSLとCUTLASS C++で実装し、NVIDIA HopperやBlackwellなど新世代GPUアーキテクチャに深く適合することで、複雑なアルゴリズムを直接呼び出せ…
- インターフェースはflash-linear-attentionと一致し、開発者はimportを1行変更するだけで低コストに導入できる。
- 性能テストでは、BlackwellおよびHopper GPU上でTritonベースライン実装と比べ、平均加速比が最大1.
- 52倍に達した。
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 66
おすすめの理由
蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:cuLA:CUDAで線形注意を書き直す。2026年4月8日。https://new.nat6.net/ja/news/cmoecv1p6003qsl19n5usdt4x/