Vektor basis istimewa dalam residual stream Transformer
Judul asli:Privileged Bases in the Transformer Residual Stream
Ringkasan AI
Penelitian menemukan fenomena "vektor basis istimewa" dalam residual stream model Transformer, yaitu arah koordinat tertentu terus-menerus menunjukkan nilai aktivasi yang luar biasa besar, bertentangan dengan ekspektasi teoretis "basis tanpa keistimewaan". Melalui eksperimen, peneliti mengarahkan akar masalah ke normalizer per dimensi dalam optimizer Adam, bukan masalah layer normalization atau presisi floating point. Pada model 200 juta parameter, lapisan tipikal memiliki 20 hingga 60 dimensi dengan nilai absolut aktivasi melebihi 6. Penelitian juga mengusulkan penggunaan kurtosis sebagai indikator deteksi, menemukan kurtosis distribusi aktivasi umumnya lebih besar dari 3, lebih lanjut mengonfirmasi rusaknya simetri vektor basis.
Poin utama
- Penelitian menemukan fenomena "vektor basis istimewa" dalam residual stream model…
- Melalui eksperimen,peneliti mengarahkan akar masalah ke normalizer per dimensi dalam optimizer…
- Pada model 200 juta parameter,lapisan tipikal memiliki 20 hingga 60 dimensi dengan nilai absolut…
- Penelitian juga mengusulkan penggunaan kurtosis sebagai indikator deteksi,menemukan kurtosis…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Lainnya
- Skor AI
- 73
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Vektor basis istimewa dalam residual stream Transformer. 16 Maret 2023. https://new.nat6.net/id/news/cmoegbh73007aslxxzrbpr56o/