Lainnya

Differential Transformer V2

Judul asli:Differential Transformer V2

Ringkasan AI

Differential Transformer V2 dirilis dengan inti mekanisme perhatian diferensial yang ditingkatkan. Dibandingkan V1, V2 menggandakan jumlah query head sambil mempertahankan key-value head tidak berubah, lalu mereduksi dimensi setelah operasi diferensial, sehingga saat decoding dapat mencapai kecepatan setara Transformer standar tanpa memerlukan kernel khusus. Versi baru ini juga mengatasi masalah ketidakstabilan numerik pada V1 akibat distribusi perhatian yang merata, khususnya menghilangkan kebutuhan faktor skala besar pada lapisan RMSNorm (misalnya pada rangkaian panjang), sehingga menghindari ledakan gradien dan bertujuan mewujudkan pra-pelatihan skala besar yang lebih stabil.

Poin utama

  • Differential Transformer V2 dirilis dengan inti mekanisme perhatian diferensial yang ditingkatkan.
  • Dibandingkan V1,V2 menggandakan jumlah query head sambil mempertahankan key-value head tidak…
  • Versi baru ini juga mengatasi masalah ketidakstabilan numerik pada V1 akibat distribusi perhatian…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Lainnya
Skor AI
83
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Differential Transformer V2. 20 Januari 2026. https://new.nat6.net/id/news/cmoegbhak009uslxxazhwpcva/

Lihat semua →