Otros

NSA: un nuevo mecanismo de atención dispersa alineado con el hardware

Título original:🚀 Introducing NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f...

Resumen de IA

NSA es un mecanismo de atención dispersa alineado con el hardware y entrenable de forma nativa, diseñado para el entrenamiento y la inferencia de contexto largo ultrarrápidos. Su núcleo emplea una estrategia dispersa jerárquica dinámica que combina compresión de tokens de grano grueso y selección de tokens de grano fino. Gracias a la optimización para hardware moderno, NSA acelera la inferencia y reduce el coste del preentrenamiento sin perder rendimiento, e iguala o supera a los modelos Full Attention en pruebas de referencia generales, tareas de contexto largo e inferencia de instrucciones.

Puntos clave

  • NSA es un mecanismo de atención dispersa alineado con el hardware y entrenable de forma…
  • Su núcleo emplea una estrategia dispersa jerárquica dinámica que combina compresión de tokens de…
  • Gracias a la optimización para hardware moderno,NSA acelera la inferencia y reduce el coste del…

Resumen rápido

Publicado
Actualizado
Fuente
X:DeepSeek (@deepseek_ai)
Categoría
Otros
Leer el original Leer el artículo completo en la fuente original
Por qué importa

DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: NSA: un nuevo mecanismo de atención dispersa alineado con el hardware. 18. febrero 2025. https://new.nat6.net/es/news/cmo77611u003hslhea6kr5k19/

Ver todo →