Suivre le calcul de l'attention via les interactions de caractéristiques
Titre original:Tracing Attention Computation Through Feature Interactions
Résumé IA
L'équipe de recherche propose la « QK attribution », qui explique les motifs d'attention d'une tête Transformer comme une fonction bilinéaire des activations de caractéristiques côté requête et côté clé, et l'intègre aux graphes d'attribution existants, comblant l'absence d'informations clés sur le calcul d'attention. Des études de cas valident des mécanismes d'interaction de caractéristiques supposés dans le rappel inductif ou les tâches d'antonymes, et révèlent de nouveaux motifs comme une « tête de cohérence » pour les vérifications de plausibilité. La méthode fournit une description causale plus complète du graphe de propagation avant du modèle.
Points clés
- L'équipe de recherche propose la « QK attribution »,qui explique les motifs d'attention d'une tête…
- Des études de cas valident des mécanismes d'interaction de caractéristiques supposés dans le…
- La méthode fournit une description causale plus complète du graphe de propagation avant du modèle.
En bref
- Publié
- Mis à jour
- Catégorie
- Autres
- Score IA
- 76
Anthropic补齐可解释性方法论的关键拼图,有助于理解大模型内部推理机制
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Suivre le calcul de l'attention via les interactions de caractéristiques. 31. juillet 2025. https://new.nat6.net/fr/news/cmoegbh73006islxxhow5jyto/