Produkte & Apps

Tencent Hunyuan quantisiert Hy3-Flaggschiffmodell auf 1 Bit und 4 Bit für Single-GPU-Deployment

Originaltitel:极致量化,近三千亿参数 Hy3 单卡即可部署

KI-Zusammenfassung

Tencent Hunyuan hat die Gewichte des 295B-Parameter-Flaggschiffs Hy3 auf 1 Bit und 4 Bit quantisiert und als GGUF verpackt. Mit dem llama.cpp-Ökosystem läuft das zuvor auf Multi-GPU-Clustern benötigte Modell auf mindestens einer 96-GB-Inferenz-GPU. Die 1-Bit-Version komprimiert die Gewichte von 598 GB auf 85,5 GiB, die 4-Bit-Version umfasst 169,9 GiB und passt auf zwei GPUs; die quantisierten Versionen erreichen bei Langtextverständnis, Agent- und Code-Aufgaben nahezu die volle Leistung, und mit MTP steigt die Dekodiergeschwindigkeit um etwa 50%-60%.

Kernpunkte

  • Tencent Hunyuan hat die Gewichte des 295B-Parameter-Flaggschiffs Hy3 auf 1 Bit und 4 Bit…
  • Mit dem llama.
  • cpp-Ökosystem läuft das zuvor auf Multi-GPU-Clustern benötigte Modell auf mindestens einer…
  • Die 1-Bit-Version komprimiert die Gewichte von 598 GB auf 85,5 GiB,die 4-Bit-Version umfasst 169,9…
  • die quantisierten Versionen erreichen bei Langtextverständnis,Agent- und Code-Aufgaben nahezu die…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:腾讯混元
Kategorie
Produkte & Apps
KI-Bewertung
78
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Tencent Hunyuan quantisiert Hy3-Flaggschiffmodell auf 1 Bit und 4 Bit für Single-GPU-Deployment. 14. Juli 2026. https://new.nat6.net/de/news/cmsdu2uhb013orofz5u7hfmv2/

Alle ansehen →