Iba pa

Pagsubaybay sa pagkalkula ng atensyon sa pamamagitan ng interaksyon ng feature

Orihinal na pamagat:Tracing Attention Computation Through Feature Interactions

AI summary

Iminungkahi ng koponan ng pananaliksik ang paraang "QK attribution", na nagpapaliwanag sa pattern ng pagtutok ng attention head ng Transformer bilang bilinear na function ng activation ng feature sa query side at key side, at isinama ito sa dating attribution graph, kaya napunan ang kakulangan ng dating paraan na hindi pinapansin ang mahalagang impormasyon sa pagkalkula ng atensyon. Kinumpirma ng case study ang dating ipinapalagay na mekanismo ng interaksyon ng feature sa mga senaryo tulad ng induction prompt at antonym task, at natuklasan ang mga bagong pattern ng pagkalkula tulad ng "consistency head" para sa sanity check. Nakamit ng paraang ito ang mas kumpletong causal graph na paglalarawan ng forward propagation ng modelo.

Mahahalagang impormasyon

  • Iminungkahi ng koponan ng pananaliksik ang paraang "QK attribution",na nagpapaliwanag sa pattern…
  • Kinumpirma ng case study ang dating ipinapalagay na mekanismo ng interaksyon ng feature sa mga…
  • Nakamit ng paraang ito ang mas kumpletong causal graph na paglalarawan ng forward propagation ng…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Transformer Circuits(可解释性研究)
Kategorya
Iba pa
AI na marka
76
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Anthropic补齐可解释性方法论的关键拼图,有助于理解大模型内部推理机制

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pagsubaybay sa pagkalkula ng atensyon sa pamamagitan ng interaksyon ng feature. 31 Hulyo 2025. https://new.nat6.net/fil/news/cmoegbh73006islxxhow5jyto/

Tingnan lahat →