Lain-lain

Differential Transformer V2

Tajuk asal:Differential Transformer V2

Ringkasan AI

Differential Transformer V2 diterbitkan, terasnya ialah mekanisme perhatian pembezaan yang dipertingkatkan. Berbanding V1, V2 menggandakan bilangan kepala pertanyaan sambil mengekalkan kepala kunci-nilai tidak berubah, dan mengurangkan dimensi selepas operasi pembezaan, sekali gus mencapai kelajuan setanding Transformer standard semasa penyahkodan tanpa memerlukan kernel tersuai. Versi baharu juga menyelesaikan masalah ketidakstabilan berangka dalam V1 yang disebabkan oleh pengagihan perhatian yang sekata, terutamanya menghapuskan faktor penskalaan besar yang diperlukan oleh lapisan RMSNorm (seperti dalam jujukan panjang), sekali gus mengelakkan letupan kecerunan, bertujuan merealisasikan prapelatihan berskala besar yang lebih stabil.

Maklumat penting

  • Differential Transformer V2 diterbitkan,terasnya ialah mekanisme perhatian pembezaan yang…
  • Berbanding V1,V2 menggandakan bilangan kepala pertanyaan sambil mengekalkan kepala kunci-nilai…
  • Versi baharu juga menyelesaikan masalah ketidakstabilan berangka dalam V1 yang disebabkan oleh…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Lain-lain
Skor AI
83
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Differential Transformer V2. 20 Januari 2026. https://new.nat6.net/ms/news/cmoegbhak009uslxxazhwpcva/

Lihat Semua →