Tencent Hunyuan kuantisasi model perdana Hy3 kepada 1bit dan 4bit, boleh digunakan dengan satu kad
Tajuk asal:极致量化,近三千亿参数 Hy3 单卡即可部署
Ringkasan AI
Tencent Hunyuan mengkuantisasi pemberat model perdana Hy3 295B parameter kepada 1bit dan 4bit serta membungkusnya sebagai GGUF, dengan ekosistem llama.cpp, membolehkan model yang asalnya memerlukan kelompok berbilang kad digunakan dengan sekurang-kurangnya satu kad inferens 96GB. Versi 1bit memampatkan pemberat daripada 598GB kepada 85.5GiB, versi 4bit bersaiz 169.9GiB, boleh ditampung dua kad; versi kuantisasi hampir menyamai kesan penuh dalam pemahaman teks panjang, Ejen dan tugas kod, selepas mengaktifkan MTP kelajuan penyahkodan meningkat kira-kira 50%-60%.
Maklumat penting
- Tencent Hunyuan mengkuantisasi pemberat model perdana Hy3 295B parameter kepada 1bit dan 4bit…
- cpp,membolehkan model yang asalnya memerlukan kelompok berbilang kad digunakan dengan…
- Versi 1bit memampatkan pemberat daripada 598GB kepada 85.
- 5GiB,versi 4bit bersaiz 169.
- 9GiB,boleh ditampung dua kad
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:腾讯混元
- Kategori
- Produk & Aplikasi
- Skor AI
- 78
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Tencent Hunyuan kuantisasi model perdana Hy3 kepada 1bit dan 4bit, boleh digunakan dengan satu kad. 14 Julai 2026. https://new.nat6.net/ms/news/cmsdu2uhb013orofz5u7hfmv2/