NSA: un nuevo mecanismo de atención dispersa alineado con el hardware
Título original:🚀 Introducing NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f...
Resumen de IA
NSA es un mecanismo de atención dispersa alineado con el hardware y entrenable de forma nativa, diseñado para el entrenamiento y la inferencia de contexto largo ultrarrápidos. Su núcleo emplea una estrategia dispersa jerárquica dinámica que combina compresión de tokens de grano grueso y selección de tokens de grano fino. Gracias a la optimización para hardware moderno, NSA acelera la inferencia y reduce el coste del preentrenamiento sin perder rendimiento, e iguala o supera a los modelos Full Attention en pruebas de referencia generales, tareas de contexto largo e inferencia de instrucciones.
Puntos clave
- NSA es un mecanismo de atención dispersa alineado con el hardware y entrenable de forma…
- Su núcleo emplea una estrategia dispersa jerárquica dinámica que combina compresión de tokens de…
- Gracias a la optimización para hardware moderno,NSA acelera la inferencia y reduce el coste del…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- X:DeepSeek (@deepseek_ai)
- Categoría
- Otros
DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: NSA: un nuevo mecanismo de atención dispersa alineado con el hardware. 18. febrero 2025. https://new.nat6.net/es/news/cmo77611u003hslhea6kr5k19/