Kertas penyelidikan

AWS cadang kaedah priming, boleh ubah Transformer pralatihan kepada seni bina ruang keadaan hibrid

Tajuk asal:Can we change an AI model’s architecture without retraining it from scratch?

Ringkasan AI

Pasukan AWS menerbitkan kertas 《Priming: Hybrid state space models from pre-trained Transformers》, mencadangkan kaedah priming yang menggunakan semula berat Transformer pralatihan untuk membina seni bina hibrid, mengurangkan kos pralatihan lebih 99%, dengan keseluruhan proses menggunakan kurang daripada 0.5% bajet token model sumber.

Maklumat penting

  • Pasukan AWS menerbitkan kertas 《Priming: Hybrid state space models from pre-trained…
  • mengurangkan kos pralatihan lebih 99%,dengan keseluruhan proses menggunakan kurang daripada 0.
  • 5% bajet token model sumber.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Amazon Science(RSS)
Kategori
Kertas penyelidikan
Topik
Ekosistem sumber terbuka
Skor AI
61
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

AWS 团队提出 priming 方法,把预训练 Transformer 改造成混合架构的预训练成本降低逾 99%,并开源了 8B 和 32B 模型与代码。

Topik berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: AWS cadang kaedah priming, boleh ubah Transformer pralatihan kepada seni bina ruang keadaan hibrid. 13 Oktober 2026. https://new.nat6.net/ms/news/w2408fxlrc7tc7nt3ivrzh9ys/

Lihat Semua →