Differential Transformer V2
Titre original:Differential Transformer V2
Résumé IA
Differential Transformer V2 est publié, avec pour cœur un mécanisme d'attention différentielle amélioré. Par rapport à V1, V2 double le nombre de têtes de requête tout en conservant les têtes clé-valeur, et réduit la dimension après l'opération différentielle, atteignant ainsi en décodage une vitesse comparable à un Transformer standard, sans noyau personnalisé. La nouvelle version résout également les problèmes d'instabilité numérique de V1 dus à l'uniformisation de la distribution d'attention, en éliminant notamment le facteur d'échelle gigantesque requis par les couches RMSNorm (sur de longues séquences), évitant ainsi l'explosion des gradients, pour un pré-entraînement à grande échelle plus stable.
Points clés
- Differential Transformer V2 est publié,avec pour cœur un mécanisme d'attention différentielle…
- Par rapport à V1,V2 double le nombre de têtes de requête tout en conservant les têtes…
- La nouvelle version résout également les problèmes d'instabilité numérique de V1 dus à…
En bref
- Publié
- Mis à jour
- Source
- Hugging Face 社区博客(混合发现)
- Catégorie
- Autres
- Score IA
- 83
新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Differential Transformer V2. 20. janvier 2026. https://new.nat6.net/fr/news/cmoegbhak009uslxxazhwpcva/