Autres

Recueil d'exercices de rétro-ingénierie des circuits Transformer

Titre original:Exercises

Résumé IA

Ce recueil d'exercices vise à comprendre précisément le fonctionnement des Transformers au niveau des paramètres, en écrivant à la main les matrices de poids concrètes des têtes d'attention. Il couvre : l'explication détaillée du rôle des matrices W_Q, W_K, W_V et W_out dans une tête d'attention ; l'analyse des matrices de contrôle des sous-espaces de lecture et d'écriture et de la signification de leur produit ; la manière de représenter une tête d'attention de façon équivalente par deux matrices et la signification de leur rang ; l'étude de la transmission d'information entre têtes d'attention de couches différentes via des opérations matricielles. Des exemples numériques concrets illustrent comment plusieurs « têtes d'attention au mot précédent » coopèrent pour réaliser la fonction virtuelle « regarder les deux mots précédents », ainsi que les étapes de construction manuelle de l'« algorithme du pointeur » d'une « tête d'induction ».

Points clés

  • Ce recueil d'exercices vise à comprendre précisément le fonctionnement des Transformers au niveau…
  • Il couvre: l'explication détaillée du rôle des matrices W_Q,W_K,W_V et W_out dans une tête…
  • l'analyse des matrices de contrôle des sous-espaces de lecture et d'écriture et de la…
  • la manière de représenter une tête d'attention de façon équivalente par deux matrices et la…
  • l'étude de la transmission d'information entre têtes d'attention de couches différentes via des…

En bref

Publié
Mis à jour
Source
Anthropic:Transformer Circuits(可解释性研究)
Catégorie
Autres
Score IA
76
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

帮助开发者亲手拆解Transformer内部机制,提升可解释性研究能力。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Recueil d'exercices de rétro-ingénierie des circuits Transformer. 15. juin 2021. https://new.nat6.net/fr/news/cmoegbh74007hslxxby9xahfm/

Tout voir →