NSA : un nouveau mécanisme d'attention creuse aligné sur le matériel
Titre original:🚀 Introducing NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f...
Résumé IA
NSA est un mécanisme d'attention creuse aligné sur le matériel et nativement entraînable, conçu pour l'entraînement et l'inférence ultra-rapides sur de longs contextes. Son cœur repose sur une stratégie creuse hiérarchique dynamique, combinant compression grossière de tokens et sélection fine de tokens. Grâce à des optimisations pour le matériel moderne, NSA accélère l'inférence et réduit les coûts de pré-entraînement sans perte de performance, égalant ou dépassant les modèles Full Attention sur les benchmarks généraux, les tâches à long contexte et le raisonnement instructionnel.
Points clés
- NSA est un mécanisme d'attention creuse aligné sur le matériel et nativement entraînable,conçu…
- Son cœur repose sur une stratégie creuse hiérarchique dynamique,combinant compression grossière de…
- Grâce à des optimisations pour le matériel moderne,NSA accélère l'inférence et réduit les coûts de…
En bref
- Publié
- Mis à jour
- Source
- X:DeepSeek (@deepseek_ai)
- Catégorie
- Autres
DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : NSA : un nouveau mécanisme d'attention creuse aligné sur le matériel. 18. février 2025. https://new.nat6.net/fr/news/cmo77611u003hslhea6kr5k19/