Privileged basis vector sa residual stream ng Transformer
Orihinal na pamagat:Privileged Bases in the Transformer Residual Stream
AI summary
Natuklasan ng pananaliksik ang phenomenon ng "privileged basis vector" sa residual stream ng Transformer model, kung saan ang ilang coordinate direction ay patuloy na nagpapakita ng abnormal na malaking activation value, na salungat sa teoretikal na inaasahan ng "privilegeless basis". Sa pamamagitan ng eksperimento, itinuro ng mga mananaliksik ang pinagmulan sa per-dimension normalizer sa Adam optimizer, sa halip na layer normalization o floating-point precision problem. Sa 200 milyong parameter na modelo, may 20 hanggang 60 dimension sa tipikal na layer na may absolute activation value na lumalampas sa 6. Iminungkahi din ng pananaliksik ang paggamit ng kurtosis bilang detection indicator, at natuklasan na ang kurtosis ng activation distribution ay karaniwang mas malaki sa 3, na lalong nagpapatunay na nasira ang symmetry ng basis vector.
Mahahalagang impormasyon
- Natuklasan ng pananaliksik ang phenomenon ng "privileged basis vector" sa residual stream ng…
- Sa pamamagitan ng eksperimento,itinuro ng mga mananaliksik ang pinagmulan sa per-dimension…
- Sa 200 milyong parameter na modelo,may 20 hanggang 60 dimension sa tipikal na layer na may…
- Iminungkahi din ng pananaliksik ang paggamit ng kurtosis bilang detection indicator,at natuklasan…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Anthropic:Transformer Circuits(可解释性研究)
- Kategorya
- Iba pa
- AI na marka
- 73
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Privileged basis vector sa residual stream ng Transformer. 16 Marso 2023. https://new.nat6.net/fil/news/cmoegbh73007aslxxzrbpr56o/