Sonstiges

Privilegierte Basisvektoren im Residualstrom von Transformern

Originaltitel:Privileged Bases in the Transformer Residual Stream

KI-Zusammenfassung

Die Forschung hat im Residualstrom von Transformer-Modellen das Phänomen „privilegierter Basisvektoren“ entdeckt: In bestimmten Koordinatenrichtungen treten durchgängig ungewöhnlich große Aktivierungswerte auf, was der theoretischen Erwartung einer „nicht privilegierten Basis“ widerspricht. Durch Experimente führen die Forscher die Ursache auf den dimensionsweisen Normalisierer im Adam-Optimierer zurück, nicht auf Layer-Normalisierung oder Gleitkommapräzision. In einem Modell mit 200 Millionen Parametern überschreiten in typischen Schichten 20 bis 60 Dimensionen einen absoluten Aktivierungswert von 6. Die Studie schlägt zudem Kurtosis als Detektionsmaß vor und stellt fest, dass die Kurtosis der Aktivierungsverteilung durchgängig größer als 3 ist, was die Verletzung der Basisvektor-Symmetrie weiter bestätigt.

Kernpunkte

  • Die Forschung hat im Residualstrom von Transformer-Modellen das Phänomen „privilegierter…
  • Durch Experimente führen die Forscher die Ursache auf den dimensionsweisen Normalisierer im…
  • In einem Modell mit 200 Millionen Parametern überschreiten in typischen Schichten 20 bis 60…
  • Die Studie schlägt zudem Kurtosis als Detektionsmaß vor und stellt fest,dass die Kurtosis der…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Anthropic:Transformer Circuits(可解释性研究)
Kategorie
Sonstiges
KI-Bewertung
73
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Privilegierte Basisvektoren im Residualstrom von Transformern. 16. März 2023. https://new.nat6.net/de/news/cmoegbh73007aslxxzrbpr56o/

Alle ansehen →