Otros

Differential Transformer V2

Título original:Differential Transformer V2

Resumen de IA

Se lanza Differential Transformer V2, cuyo núcleo es un mecanismo de atención diferencial mejorado. Respecto a V1, V2 duplica el número de cabezas de consulta manteniendo invariables las cabezas clave-valor y reduce la dimensionalidad tras la operación diferencial, logrando así una velocidad de decodificación comparable a la de un Transformer estándar sin necesidad de kernels personalizados. La nueva versión también resuelve la inestabilidad numérica de V1 causada por la uniformización de la distribución de atención, en particular eliminando el enorme factor de escala requerido por la capa RMSNorm (por ejemplo, en secuencias largas), evitando así la explosión de gradientes, con el objetivo de lograr un preentrenamiento a gran escala más estable.

Puntos clave

  • Se lanza Differential Transformer V2,cuyo núcleo es un mecanismo de atención diferencial mejorado.
  • Respecto a V1,V2 duplica el número de cabezas de consulta manteniendo invariables las cabezas…
  • La nueva versión también resuelve la inestabilidad numérica de V1 causada por la uniformización de…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Otros
Puntuación IA
83
Leer el original Leer el artículo completo en la fuente original
Por qué importa

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Differential Transformer V2. 20. enero 2026. https://new.nat6.net/es/news/cmoegbhak009uslxxazhwpcva/

Ver todo →