Tencent Hunyuan Mengkuantisasi Model Unggulan Hy3 ke 1bit dan 4bit, Dapat Diterapkan dengan Satu Kartu
Judul asli:极致量化,近三千亿参数 Hy3 单卡即可部署
Ringkasan AI
Tencent Hunyuan mengkuantisasi bobot model unggulan Hy3 dengan 295B parameter ke 1bit dan 4bit serta mengemasnya menjadi GGUF, bekerja sama dengan ekosistem llama.cpp, sehingga model yang semula memerlukan penerapan klaster multi-kartu dapat dijalankan dengan minimal satu kartu grafis inferensi 96GB. Versi 1bit memampatkan bobot dari 598GB menjadi 85,5GiB, versi 4bit berukuran 169,9GiB dan dapat ditampung dua kartu grafis; versi terkuantisasi mendekati efek penuh pada pemahaman teks panjang, Agent, dan tugas kode, dengan kecepatan decoding meningkat sekitar 50%-60% setelah mengaktifkan MTP.
Poin utama
- Tencent Hunyuan mengkuantisasi bobot model unggulan Hy3 dengan 295B parameter ke 1bit dan 4bit…
- cpp,sehingga model yang semula memerlukan penerapan klaster multi-kartu dapat dijalankan dengan…
- Versi 1bit memampatkan bobot dari 598GB menjadi 85,5GiB,versi 4bit berukuran 169,9GiB dan dapat…
- versi terkuantisasi mendekati efek penuh pada pemahaman teks panjang,Agent,dan tugas kode,dengan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:腾讯混元
- Kategori
- Produk & Aplikasi
- Skor AI
- 78
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Tencent Hunyuan Mengkuantisasi Model Unggulan Hy3 ke 1bit dan 4bit, Dapat Diterapkan dengan Satu Kartu. 14 Juli 2026. https://new.nat6.net/id/news/cmsdu2uhb013orofz5u7hfmv2/