Sonstiges

Differential Transformer V2

Originaltitel:Differential Transformer V2

KI-Zusammenfassung

Differential Transformer V2 wurde veröffentlicht; im Kern steht ein verbesserter differenzieller Attention-Mechanismus. Im Vergleich zu V1 verdoppelt V2 die Anzahl der Query-Heads bei unveränderten Key-Value-Heads und reduziert nach der Differenzoperation die Dimension, sodass beim Decoding Geschwindigkeiten vergleichbar mit einem Standard-Transformer erreicht werden, ohne maßgeschneiderte Kernel. Die neue Version behebt zudem numerische Instabilitäten in V1, die durch eine gleichmäßigere Attention-Verteilung entstanden, insbesondere den großen Skalierungsfaktor, den RMSNorm-Schichten bei langen Sequenzen benötigen, und vermeidet so Gradientenexplosionen. Ziel ist ein stabileres Pretraining in großem Maßstab.

Kernpunkte

  • Differential Transformer V2 wurde veröffentlicht
  • im Kern steht ein verbesserter differenzieller Attention-Mechanismus.
  • Im Vergleich zu V1 verdoppelt V2 die Anzahl der Query-Heads bei unveränderten Key-Value-Heads und…
  • Die neue Version behebt zudem numerische Instabilitäten in V1,die durch eine gleichmäßigere…
  • Ziel ist ein stabileres Pretraining in großem Maßstab.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Sonstiges
KI-Bewertung
83
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Differential Transformer V2. 20. Januar 2026. https://new.nat6.net/de/news/cmoegbhak009uslxxazhwpcva/

Alle ansehen →