Differential Transformer V2
Título original:Differential Transformer V2
Resumen de IA
Se lanza Differential Transformer V2, cuyo núcleo es un mecanismo de atención diferencial mejorado. Respecto a V1, V2 duplica el número de cabezas de consulta manteniendo invariables las cabezas clave-valor y reduce la dimensionalidad tras la operación diferencial, logrando así una velocidad de decodificación comparable a la de un Transformer estándar sin necesidad de kernels personalizados. La nueva versión también resuelve la inestabilidad numérica de V1 causada por la uniformización de la distribución de atención, en particular eliminando el enorme factor de escala requerido por la capa RMSNorm (por ejemplo, en secuencias largas), evitando así la explosión de gradientes, con el objetivo de lograr un preentrenamiento a gran escala más estable.
Puntos clave
- Se lanza Differential Transformer V2,cuyo núcleo es un mecanismo de atención diferencial mejorado.
- Respecto a V1,V2 duplica el número de cabezas de consulta manteniendo invariables las cabezas…
- La nueva versión también resuelve la inestabilidad numérica de V1 causada por la uniformización de…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Otros
- Puntuación IA
- 83
新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Differential Transformer V2. 20. enero 2026. https://new.nat6.net/es/news/cmoegbhak009uslxxazhwpcva/