Другое

NSA: новый механизм разреженного внимания с аппаратным выравниванием

Оригинальный заголовок:🚀 Introducing NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f...

ИИ-резюме

NSA — это аппаратно-выровненный и изначально обучаемый механизм разреженного внимания, разработанный для сверхбыстрого обучения и рассуждения на длинном контексте. В его основе — динамическая иерархическая стратегия разреженности, сочетающая грубую компрессию токенов с тонким выбором токенов. Благодаря оптимизации под современное оборудование NSA ускоряет рассуждение и снижает затраты на предобучение без потери производительности, а на общих бенчмарках, задачах с длинным контекстом и инструкционном рассуждении соответствует или превосходит модели Full Attention.

Ключевые моменты

  • NSA — это аппаратно-выровненный и изначально обучаемый механизм разреженного…
  • В его основе — динамическая иерархическая стратегия разреженности,сочетающая грубую компрессию…
  • Благодаря оптимизации под современное оборудование NSA ускоряет рассуждение и снижает затраты на…

Кратко

Опубликовано
Обновлено
Источник
X:DeepSeek (@deepseek_ai)
Категория
Другое
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: NSA: новый механизм разреженного внимания с аппаратным выравниванием. 18 февраля 2025. https://new.nat6.net/ru/news/cmo77611u003hslhea6kr5k19/

Смотреть все →