Tencent Hunyuan、Hy3 フラッグシップモデルを1bit と4bit に量子化、単一カードでデプロイ可能に
原題:极致量化,近三千亿参数 Hy3 单卡即可部署
AI 要約
Tencent Hunyuan は295B パラメータの Hy3 フラッグシップモデルの重みを1bit と4bit に量子化し GGUF にパッケージ化、llama.cpp エコシステムと組み合わせることで、本来マルチカードクラスタでのデプロイが必要だったモデルを最低1枚の96GB 推論 GPU で実行可能にした。1bit 版は重みを598GBから85.5GiBに圧縮、4bit 版は169.9GiBで2枚の GPU で搭載可能。量子化版は長文理解、Agent、コードタスクでフル性能に近い効果を示し、MTP を有効にするとデコード速度が約50%-60%向上する。
要点
- Tencent Hunyuan は295B パラメータの Hy3 フラッグシップモデルの重みを1bit と4bit に量子化し GGUF にパッケージ化、llama.
- cpp エコシステムと組み合わせることで、本来マルチカードクラスタでのデプロイが必要だったモデルを最低1枚の96GB 推論 GPU で実行可能にした。
- 1bit 版は重みを598GBから85.
- 5GiBに圧縮、4bit 版は169.
- 9GiBで2枚の GPU で搭載可能。
概要
おすすめの理由
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Tencent Hunyuan、Hy3 フラッグシップモデルを1bit と4bit に量子化、単一カードでデプロイ可能に。2026年7月14日。https://new.nat6.net/ja/news/cmsdu2uhb013orofz5u7hfmv2/