Pagsubaybay sa pagkalkula ng atensyon sa pamamagitan ng interaksyon ng feature
Orihinal na pamagat:Tracing Attention Computation Through Feature Interactions
AI summary
Iminungkahi ng koponan ng pananaliksik ang paraang "QK attribution", na nagpapaliwanag sa pattern ng pagtutok ng attention head ng Transformer bilang bilinear na function ng activation ng feature sa query side at key side, at isinama ito sa dating attribution graph, kaya napunan ang kakulangan ng dating paraan na hindi pinapansin ang mahalagang impormasyon sa pagkalkula ng atensyon. Kinumpirma ng case study ang dating ipinapalagay na mekanismo ng interaksyon ng feature sa mga senaryo tulad ng induction prompt at antonym task, at natuklasan ang mga bagong pattern ng pagkalkula tulad ng "consistency head" para sa sanity check. Nakamit ng paraang ito ang mas kumpletong causal graph na paglalarawan ng forward propagation ng modelo.
Mahahalagang impormasyon
- Iminungkahi ng koponan ng pananaliksik ang paraang "QK attribution",na nagpapaliwanag sa pattern…
- Kinumpirma ng case study ang dating ipinapalagay na mekanismo ng interaksyon ng feature sa mga…
- Nakamit ng paraang ito ang mas kumpletong causal graph na paglalarawan ng forward propagation ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Anthropic:Transformer Circuits(可解释性研究)
- Kategorya
- Iba pa
- AI na marka
- 76
Anthropic补齐可解释性方法论的关键拼图,有助于理解大模型内部推理机制
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pagsubaybay sa pagkalkula ng atensyon sa pamamagitan ng interaksyon ng feature. 31 Hulyo 2025. https://new.nat6.net/fil/news/cmoegbh73006islxxhow5jyto/