Tencent Hunyuan quantisiert Hy3-Flaggschiffmodell auf 1 Bit und 4 Bit für Single-GPU-Deployment
Originaltitel:极致量化,近三千亿参数 Hy3 单卡即可部署
KI-Zusammenfassung
Tencent Hunyuan hat die Gewichte des 295B-Parameter-Flaggschiffs Hy3 auf 1 Bit und 4 Bit quantisiert und als GGUF verpackt. Mit dem llama.cpp-Ökosystem läuft das zuvor auf Multi-GPU-Clustern benötigte Modell auf mindestens einer 96-GB-Inferenz-GPU. Die 1-Bit-Version komprimiert die Gewichte von 598 GB auf 85,5 GiB, die 4-Bit-Version umfasst 169,9 GiB und passt auf zwei GPUs; die quantisierten Versionen erreichen bei Langtextverständnis, Agent- und Code-Aufgaben nahezu die volle Leistung, und mit MTP steigt die Dekodiergeschwindigkeit um etwa 50%-60%.
Kernpunkte
- Tencent Hunyuan hat die Gewichte des 295B-Parameter-Flaggschiffs Hy3 auf 1 Bit und 4 Bit…
- Mit dem llama.
- cpp-Ökosystem läuft das zuvor auf Multi-GPU-Clustern benötigte Modell auf mindestens einer…
- Die 1-Bit-Version komprimiert die Gewichte von 598 GB auf 85,5 GiB,die 4-Bit-Version umfasst 169,9…
- die quantisierten Versionen erreichen bei Langtextverständnis,Agent- und Code-Aufgaben nahezu die…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:腾讯混元
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 78
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Tencent Hunyuan quantisiert Hy3-Flaggschiffmodell auf 1 Bit und 4 Bit für Single-GPU-Deployment. 14. Juli 2026. https://new.nat6.net/de/news/cmsdu2uhb013orofz5u7hfmv2/