Privilegierte Basisvektoren im Residualstrom von Transformern
Originaltitel:Privileged Bases in the Transformer Residual Stream
KI-Zusammenfassung
Die Forschung hat im Residualstrom von Transformer-Modellen das Phänomen „privilegierter Basisvektoren“ entdeckt: In bestimmten Koordinatenrichtungen treten durchgängig ungewöhnlich große Aktivierungswerte auf, was der theoretischen Erwartung einer „nicht privilegierten Basis“ widerspricht. Durch Experimente führen die Forscher die Ursache auf den dimensionsweisen Normalisierer im Adam-Optimierer zurück, nicht auf Layer-Normalisierung oder Gleitkommapräzision. In einem Modell mit 200 Millionen Parametern überschreiten in typischen Schichten 20 bis 60 Dimensionen einen absoluten Aktivierungswert von 6. Die Studie schlägt zudem Kurtosis als Detektionsmaß vor und stellt fest, dass die Kurtosis der Aktivierungsverteilung durchgängig größer als 3 ist, was die Verletzung der Basisvektor-Symmetrie weiter bestätigt.
Kernpunkte
- Die Forschung hat im Residualstrom von Transformer-Modellen das Phänomen „privilegierter…
- Durch Experimente führen die Forscher die Ursache auf den dimensionsweisen Normalisierer im…
- In einem Modell mit 200 Millionen Parametern überschreiten in typischen Schichten 20 bis 60…
- Die Studie schlägt zudem Kurtosis als Detektionsmaß vor und stellt fest,dass die Kurtosis der…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Sonstiges
- KI-Bewertung
- 73
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Privilegierte Basisvektoren im Residualstrom von Transformern. 16. März 2023. https://new.nat6.net/de/news/cmoegbh73007aslxxzrbpr56o/