Autres

Suivre le calcul de l'attention via les interactions de caractéristiques

Titre original:Tracing Attention Computation Through Feature Interactions

Résumé IA

L'équipe de recherche propose la « QK attribution », qui explique les motifs d'attention d'une tête Transformer comme une fonction bilinéaire des activations de caractéristiques côté requête et côté clé, et l'intègre aux graphes d'attribution existants, comblant l'absence d'informations clés sur le calcul d'attention. Des études de cas valident des mécanismes d'interaction de caractéristiques supposés dans le rappel inductif ou les tâches d'antonymes, et révèlent de nouveaux motifs comme une « tête de cohérence » pour les vérifications de plausibilité. La méthode fournit une description causale plus complète du graphe de propagation avant du modèle.

Points clés

  • L'équipe de recherche propose la « QK attribution »,qui explique les motifs d'attention d'une tête…
  • Des études de cas valident des mécanismes d'interaction de caractéristiques supposés dans le…
  • La méthode fournit une description causale plus complète du graphe de propagation avant du modèle.

En bref

Publié
Mis à jour
Source
Anthropic:Transformer Circuits(可解释性研究)
Catégorie
Autres
Score IA
76
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Anthropic补齐可解释性方法论的关键拼图,有助于理解大模型内部推理机制

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Suivre le calcul de l'attention via les interactions de caractéristiques. 31. juillet 2025. https://new.nat6.net/fr/news/cmoegbh73006islxxhow5jyto/

Tout voir →