Lainnya

Vektor basis istimewa dalam residual stream Transformer

Judul asli:Privileged Bases in the Transformer Residual Stream

Ringkasan AI

Penelitian menemukan fenomena "vektor basis istimewa" dalam residual stream model Transformer, yaitu arah koordinat tertentu terus-menerus menunjukkan nilai aktivasi yang luar biasa besar, bertentangan dengan ekspektasi teoretis "basis tanpa keistimewaan". Melalui eksperimen, peneliti mengarahkan akar masalah ke normalizer per dimensi dalam optimizer Adam, bukan masalah layer normalization atau presisi floating point. Pada model 200 juta parameter, lapisan tipikal memiliki 20 hingga 60 dimensi dengan nilai absolut aktivasi melebihi 6. Penelitian juga mengusulkan penggunaan kurtosis sebagai indikator deteksi, menemukan kurtosis distribusi aktivasi umumnya lebih besar dari 3, lebih lanjut mengonfirmasi rusaknya simetri vektor basis.

Poin utama

  • Penelitian menemukan fenomena "vektor basis istimewa" dalam residual stream model…
  • Melalui eksperimen,peneliti mengarahkan akar masalah ke normalizer per dimensi dalam optimizer…
  • Pada model 200 juta parameter,lapisan tipikal memiliki 20 hingga 60 dimensi dengan nilai absolut…
  • Penelitian juga mengusulkan penggunaan kurtosis sebagai indikator deteksi,menemukan kurtosis…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Anthropic:Transformer Circuits(可解释性研究)
Kategori
Lainnya
Skor AI
73
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Vektor basis istimewa dalam residual stream Transformer. 16 Maret 2023. https://new.nat6.net/id/news/cmoegbh73007aslxxzrbpr56o/

Lihat semua →