Autres

Vecteurs de base privilégiés dans le flux résiduel des Transformers

Titre original:Privileged Bases in the Transformer Residual Stream

Résumé IA

La recherche révèle un phénomène de « vecteurs de base privilégiés » dans le flux résiduel des modèles Transformer : certaines directions de coordonnées présentent systématiquement des activations anormalement élevées, ce qui contredit l'attente théorique d'une « base non privilégiée ». Par des expériences, les chercheurs attribuent la cause au normalisateur par dimension de l'optimiseur Adam, plutôt qu'à la normalisation de couche ou à la précision flottante. Dans un modèle de 200 millions de paramètres, une couche typique compte 20 à 60 dimensions dont la valeur absolue d'activation dépasse 6. L'étude propose également le kurtosis comme indicateur de détection et constate que le kurtosis des distributions d'activation est généralement supérieur à 3, confirmant davantage la rupture de symétrie des vecteurs de base.

Points clés

  • La recherche révèle un phénomène de « vecteurs de base privilégiés » dans le flux résiduel des…
  • Par des expériences,les chercheurs attribuent la cause au normalisateur par dimension de…
  • Dans un modèle de 200 millions de paramètres,une couche typique compte 20 à 60 dimensions dont la…
  • L'étude propose également le kurtosis comme indicateur de détection et constate que le kurtosis…

En bref

Publié
Mis à jour
Source
Anthropic:Transformer Circuits(可解释性研究)
Catégorie
Autres
Score IA
73
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Vecteurs de base privilégiés dans le flux résiduel des Transformers. 16. mars 2023. https://new.nat6.net/fr/news/cmoegbh73007aslxxzrbpr56o/

Tout voir →