cuLA:линейное внимание, переписанное на CUDA
ИИ-резюме
cuLA — это библиотека высокопроизводительных ядер CUDA для таких вариантов линейного внимания, как GLA и KDA. Она реализована на вручную оптимизированном CuTe DSL и CUTLASS C++ и глубоко адаптирована к новым архитектурам GPU NVIDIA Hopper и Blackwell, чтобы превращать сложные алгоритмы в готовые к вызову высокопроизводительные операторы. Интерфейс совместим с flash-linear-attention: разработчику достаточно изменить одну строку import. Тесты производительности показывают, что на GPU Blackwell и Hopper ядра обеспечивают среднее ускорение до 1,52 раза по сравнению с базовой реализацией на Triton. Проект открыт, в будущем его планируют интегрировать в единый механизм планирования FLA.
Ключевые моменты
- cuLA — это библиотека высокопроизводительных ядер CUDA для таких вариантов линейного внимания,как…
- Она реализована на вручную оптимизированном CuTe DSL и CUTLASS C++ и глубоко адаптирована к новым…
- Интерфейс совместим с flash-linear-attention: разработчику достаточно изменить одну строку import.
- Тесты производительности показывают,что на GPU Blackwell и Hopper ядра обеспечивают среднее…
- Проект открыт,в будущем его планируют интегрировать в единый механизм планирования FLA.
Кратко
- Опубликовано
- Обновлено
- Источник
- 蚂蚁百灵:Developer Blog(网页)
- Категория
- Продукты и приложения
- Оценка ИИ
- 66
蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: cuLA:линейное внимание, переписанное на CUDA. 8 апреля 2026. https://new.nat6.net/ru/news/cmoecv1p6003qsl19n5usdt4x/