cuLA: CUDA로 선형 어텐션 재작성
AI 요약
cuLA는 GLA, KDA 등 선형 어텐션 변형을 위한 고성능 CUDA 커널 라이브러리다. 수작업으로 최적화된 CuTe DSL과 CUTLASS C++ 구현을 통해 NVIDIA Hopper 및 Blackwell 등 차세대 GPU 아키텍처에 깊이 적응하여, 복잡한 알고리즘을 바로 호출 가능한 고성능 연산자로 전환하는 것을 목표로 한다. 인터페이스는 flash-linear-attention과 일치하여 개발자는 import 한 줄만 수정하면 낮은 비용으로 통합할 수 있다. 성능 테스트 결과, 해당 커널은 Blackwell 및 Hopper GPU에서 Triton 기준 구현 대비 평균 최대 1.52배의 속도 향상을 보였다. 이 프로젝트는 오픈소스로 공개되었으며, 향후 FLA의 통합 스케줄링 메커니즘에 통합될 예정이다.
핵심 정보
- cuLA는 GLA,KDA 등 선형 어텐션 변형을 위한 고성능 CUDA 커널 라이브러리다.
- 수작업으로 최적화된 CuTe DSL과 CUTLASS C++ 구현을 통해 NVIDIA Hopper 및 Blackwell 등 차세대 GPU 아키텍처에 깊이 적응하여,복잡한…
- 인터페이스는 flash-linear-attention과 일치하여 개발자는 import 한 줄만 수정하면 낮은 비용으로 통합할 수 있다.
- 성능 테스트 결과,해당 커널은 Blackwell 및 Hopper GPU에서 Triton 기준 구현 대비 평균 최대 1.
- 52배의 속도 향상을 보였다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 제품 및 앱
- AI 점수
- 66
蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: cuLA: CUDA로 선형 어텐션 재작성. 2026년 4월 8일. https://new.nat6.net/ko/news/cmoecv1p6003qsl19n5usdt4x/