Autres

Differential Transformer V2

Titre original:Differential Transformer V2

Résumé IA

Differential Transformer V2 est publié, avec pour cœur un mécanisme d'attention différentielle amélioré. Par rapport à V1, V2 double le nombre de têtes de requête tout en conservant les têtes clé-valeur, et réduit la dimension après l'opération différentielle, atteignant ainsi en décodage une vitesse comparable à un Transformer standard, sans noyau personnalisé. La nouvelle version résout également les problèmes d'instabilité numérique de V1 dus à l'uniformisation de la distribution d'attention, en éliminant notamment le facteur d'échelle gigantesque requis par les couches RMSNorm (sur de longues séquences), évitant ainsi l'explosion des gradients, pour un pré-entraînement à grande échelle plus stable.

Points clés

  • Differential Transformer V2 est publié,avec pour cœur un mécanisme d'attention différentielle…
  • Par rapport à V1,V2 double le nombre de têtes de requête tout en conservant les têtes…
  • La nouvelle version résout également les problèmes d'instabilité numérique de V1 dus à…

En bref

Publié
Mis à jour
Source
Hugging Face 社区博客(混合发现)
Catégorie
Autres
Score IA
83
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Differential Transformer V2. 20. janvier 2026. https://new.nat6.net/fr/news/cmoegbhak009uslxxazhwpcva/

Tout voir →