Differential Transformer V2
Originaltitel:Differential Transformer V2
KI-Zusammenfassung
Differential Transformer V2 wurde veröffentlicht; im Kern steht ein verbesserter differenzieller Attention-Mechanismus. Im Vergleich zu V1 verdoppelt V2 die Anzahl der Query-Heads bei unveränderten Key-Value-Heads und reduziert nach der Differenzoperation die Dimension, sodass beim Decoding Geschwindigkeiten vergleichbar mit einem Standard-Transformer erreicht werden, ohne maßgeschneiderte Kernel. Die neue Version behebt zudem numerische Instabilitäten in V1, die durch eine gleichmäßigere Attention-Verteilung entstanden, insbesondere den großen Skalierungsfaktor, den RMSNorm-Schichten bei langen Sequenzen benötigen, und vermeidet so Gradientenexplosionen. Ziel ist ein stabileres Pretraining in großem Maßstab.
Kernpunkte
- Differential Transformer V2 wurde veröffentlicht
- im Kern steht ein verbesserter differenzieller Attention-Mechanismus.
- Im Vergleich zu V1 verdoppelt V2 die Anzahl der Query-Heads bei unveränderten Key-Value-Heads und…
- Die neue Version behebt zudem numerische Instabilitäten in V1,die durch eine gleichmäßigere…
- Ziel ist ein stabileres Pretraining in großem Maßstab.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Sonstiges
- KI-Bewertung
- 83
新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Differential Transformer V2. 20. Januar 2026. https://new.nat6.net/de/news/cmoegbhak009uslxxazhwpcva/