Autres

NSA : un nouveau mécanisme d'attention creuse aligné sur le matériel

Titre original:🚀 Introducing NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f...

Résumé IA

NSA est un mécanisme d'attention creuse aligné sur le matériel et nativement entraînable, conçu pour l'entraînement et l'inférence ultra-rapides sur de longs contextes. Son cœur repose sur une stratégie creuse hiérarchique dynamique, combinant compression grossière de tokens et sélection fine de tokens. Grâce à des optimisations pour le matériel moderne, NSA accélère l'inférence et réduit les coûts de pré-entraînement sans perte de performance, égalant ou dépassant les modèles Full Attention sur les benchmarks généraux, les tâches à long contexte et le raisonnement instructionnel.

Points clés

  • NSA est un mécanisme d'attention creuse aligné sur le matériel et nativement entraînable,conçu…
  • Son cœur repose sur une stratégie creuse hiérarchique dynamique,combinant compression grossière de…
  • Grâce à des optimisations pour le matériel moderne,NSA accélère l'inférence et réduit les coûts de…

En bref

Publié
Mis à jour
Source
X:DeepSeek (@deepseek_ai)
Catégorie
Autres
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : NSA : un nouveau mécanisme d'attention creuse aligné sur le matériel. 18. février 2025. https://new.nat6.net/fr/news/cmo77611u003hslhea6kr5k19/

Tout voir →