Lain-lain

Vektor asas istimewa dalam aliran residu Transformer

Tajuk asal:Privileged Bases in the Transformer Residual Stream

Ringkasan AI

Kajian mendapati fenomena "vektor asas istimewa" dalam aliran residu model Transformer, iaitu arah koordinat tertentu secara berterusan menunjukkan nilai pengaktifan yang luar biasa besar, bercanggah dengan jangkaan teori "tanpa asas istimewa". Melalui eksperimen, penyelidik mengaitkan puncanya dengan penormalan setiap dimensi dalam pengoptimuman Adam, bukan penormalan lapisan atau masalah ketepatan titik terapung. Dalam model 200 juta parameter, lapisan tipikal mempunyai 20 hingga 60 dimensi dengan nilai mutlak pengaktifan melebihi 6. Kajian juga mencadangkan penggunaan kurtosis sebagai penunjuk pengesanan, dan mendapati kurtosis taburan pengaktifan secara amnya lebih besar daripada 3, mengesahkan lagi simetri vektor asas telah terjejas.

Maklumat penting

  • Kajian mendapati fenomena "vektor asas istimewa" dalam aliran residu model Transformer,iaitu arah…
  • Melalui eksperimen,penyelidik mengaitkan puncanya dengan penormalan setiap dimensi dalam…
  • Dalam model 200 juta parameter,lapisan tipikal mempunyai 20 hingga 60 dimensi dengan nilai mutlak…
  • Kajian juga mencadangkan penggunaan kurtosis sebagai penunjuk pengesanan,dan mendapati kurtosis…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Anthropic:Transformer Circuits(可解释性研究)
Kategori
Lain-lain
Skor AI
73
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Vektor asas istimewa dalam aliran residu Transformer. 16 Mac 2023. https://new.nat6.net/ms/news/cmoegbh73007aslxxzrbpr56o/

Lihat Semua →