Vektor asas istimewa dalam aliran residu Transformer
Tajuk asal:Privileged Bases in the Transformer Residual Stream
Ringkasan AI
Kajian mendapati fenomena "vektor asas istimewa" dalam aliran residu model Transformer, iaitu arah koordinat tertentu secara berterusan menunjukkan nilai pengaktifan yang luar biasa besar, bercanggah dengan jangkaan teori "tanpa asas istimewa". Melalui eksperimen, penyelidik mengaitkan puncanya dengan penormalan setiap dimensi dalam pengoptimuman Adam, bukan penormalan lapisan atau masalah ketepatan titik terapung. Dalam model 200 juta parameter, lapisan tipikal mempunyai 20 hingga 60 dimensi dengan nilai mutlak pengaktifan melebihi 6. Kajian juga mencadangkan penggunaan kurtosis sebagai penunjuk pengesanan, dan mendapati kurtosis taburan pengaktifan secara amnya lebih besar daripada 3, mengesahkan lagi simetri vektor asas telah terjejas.
Maklumat penting
- Kajian mendapati fenomena "vektor asas istimewa" dalam aliran residu model Transformer,iaitu arah…
- Melalui eksperimen,penyelidik mengaitkan puncanya dengan penormalan setiap dimensi dalam…
- Dalam model 200 juta parameter,lapisan tipikal mempunyai 20 hingga 60 dimensi dengan nilai mutlak…
- Kajian juga mencadangkan penggunaan kurtosis sebagai penunjuk pengesanan,dan mendapati kurtosis…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Lain-lain
- Skor AI
- 73
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Vektor asas istimewa dalam aliran residu Transformer. 16 Mac 2023. https://new.nat6.net/ms/news/cmoegbh73007aslxxzrbpr56o/