Iba pa

Privileged basis vector sa residual stream ng Transformer

Orihinal na pamagat:Privileged Bases in the Transformer Residual Stream

AI summary

Natuklasan ng pananaliksik ang phenomenon ng "privileged basis vector" sa residual stream ng Transformer model, kung saan ang ilang coordinate direction ay patuloy na nagpapakita ng abnormal na malaking activation value, na salungat sa teoretikal na inaasahan ng "privilegeless basis". Sa pamamagitan ng eksperimento, itinuro ng mga mananaliksik ang pinagmulan sa per-dimension normalizer sa Adam optimizer, sa halip na layer normalization o floating-point precision problem. Sa 200 milyong parameter na modelo, may 20 hanggang 60 dimension sa tipikal na layer na may absolute activation value na lumalampas sa 6. Iminungkahi din ng pananaliksik ang paggamit ng kurtosis bilang detection indicator, at natuklasan na ang kurtosis ng activation distribution ay karaniwang mas malaki sa 3, na lalong nagpapatunay na nasira ang symmetry ng basis vector.

Mahahalagang impormasyon

  • Natuklasan ng pananaliksik ang phenomenon ng "privileged basis vector" sa residual stream ng…
  • Sa pamamagitan ng eksperimento,itinuro ng mga mananaliksik ang pinagmulan sa per-dimension…
  • Sa 200 milyong parameter na modelo,may 20 hanggang 60 dimension sa tipikal na layer na may…
  • Iminungkahi din ng pananaliksik ang paggamit ng kurtosis bilang detection indicator,at natuklasan…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Transformer Circuits(可解释性研究)
Kategorya
Iba pa
AI na marka
73
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Privileged basis vector sa residual stream ng Transformer. 16 Marso 2023. https://new.nat6.net/fil/news/cmoegbh73007aslxxzrbpr56o/

Tingnan lahat →