製品とアプリ

Tencent Hunyuan、Hy3 フラッグシップモデルを1bit と4bit に量子化、単一カードでデプロイ可能に

原題:极致量化,近三千亿参数 Hy3 单卡即可部署

AI 要約

Tencent Hunyuan は295B パラメータの Hy3 フラッグシップモデルの重みを1bit と4bit に量子化し GGUF にパッケージ化、llama.cpp エコシステムと組み合わせることで、本来マルチカードクラスタでのデプロイが必要だったモデルを最低1枚の96GB 推論 GPU で実行可能にした。1bit 版は重みを598GBから85.5GiBに圧縮、4bit 版は169.9GiBで2枚の GPU で搭載可能。量子化版は長文理解、Agent、コードタスクでフル性能に近い効果を示し、MTP を有効にするとデコード速度が約50%-60%向上する。

要点

  • Tencent Hunyuan は295B パラメータの Hy3 フラッグシップモデルの重みを1bit と4bit に量子化し GGUF にパッケージ化、llama.
  • cpp エコシステムと組み合わせることで、本来マルチカードクラスタでのデプロイが必要だったモデルを最低1枚の96GB 推論 GPU で実行可能にした。
  • 1bit 版は重みを598GBから85.
  • 5GiBに圧縮、4bit 版は169.
  • 9GiBで2枚の GPU で搭載可能。

概要

公開日時
更新日時
出典
公众号:腾讯混元
カテゴリ
製品とアプリ
AI スコア
78
原文を読む 情報源で全文を読む
おすすめの理由

将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Tencent Hunyuan、Hy3 フラッグシップモデルを1bit と4bit に量子化、単一カードでデプロイ可能に。2026年7月14日。https://new.nat6.net/ja/news/cmsdu2uhb013orofz5u7hfmv2/

すべて見る →