Продукты и приложения

cuLA:линейное внимание, переписанное на CUDA

ИИ-резюме

cuLA — это библиотека высокопроизводительных ядер CUDA для таких вариантов линейного внимания, как GLA и KDA. Она реализована на вручную оптимизированном CuTe DSL и CUTLASS C++ и глубоко адаптирована к новым архитектурам GPU NVIDIA Hopper и Blackwell, чтобы превращать сложные алгоритмы в готовые к вызову высокопроизводительные операторы. Интерфейс совместим с flash-linear-attention: разработчику достаточно изменить одну строку import. Тесты производительности показывают, что на GPU Blackwell и Hopper ядра обеспечивают среднее ускорение до 1,52 раза по сравнению с базовой реализацией на Triton. Проект открыт, в будущем его планируют интегрировать в единый механизм планирования FLA.

Ключевые моменты

  • cuLA — это библиотека высокопроизводительных ядер CUDA для таких вариантов линейного внимания,как…
  • Она реализована на вручную оптимизированном CuTe DSL и CUTLASS C++ и глубоко адаптирована к новым…
  • Интерфейс совместим с flash-linear-attention: разработчику достаточно изменить одну строку import.
  • Тесты производительности показывают,что на GPU Blackwell и Hopper ядра обеспечивают среднее…
  • Проект открыт,в будущем его планируют интегрировать в единый механизм планирования FLA.

Кратко

Опубликовано
Обновлено
Источник
蚂蚁百灵:Developer Blog(网页)
Категория
Продукты и приложения
Оценка ИИ
66
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: cuLA:линейное внимание, переписанное на CUDA. 8 апреля 2026. https://new.nat6.net/ru/news/cmoecv1p6003qsl19n5usdt4x/

Смотреть все →