Продукты и приложения

Tencent Hunyuan квантовала флагманскую модель Hy3 до 1bit и 4bit — развёртывание на одной карте

Оригинальный заголовок:极致量化,近三千亿参数 Hy3 单卡即可部署

ИИ-резюме

Tencent Hunyuan квантовала веса флагманской модели Hy3 с 295B параметров до 1bit и 4bit и упаковала их в GGUF; вместе с экосистемой llama.cpp это позволяет запускать модель, ранее требовавшую многоузлового кластера, минимум на одном 96GB ускорителе вывода. Версия 1bit сжимает веса с 598GB до 85,5GiB, версия 4bit занимает 169,9GiB и помещается на две карты; квантованные версии близки к полной по пониманию длинных текстов, Agent- и кодовым задачам, а с MTP скорость декодирования растёт примерно на 50–60%.

Ключевые моменты

  • Tencent Hunyuan квантовала веса флагманской модели Hy3 с 295B параметров до 1bit и 4bit и…
  • вместе с экосистемой llama.
  • cpp это позволяет запускать модель,ранее требовавшую многоузлового кластера,минимум на одном 96GB…
  • Версия 1bit сжимает веса с 598GB до 85,5GiB,версия 4bit занимает 169,9GiB и помещается на две карты
  • квантованные версии близки к полной по пониманию длинных текстов,Agent- и кодовым задачам,а с MTP…

Кратко

Опубликовано
Обновлено
Источник
公众号:腾讯混元
Категория
Продукты и приложения
Оценка ИИ
78
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Tencent Hunyuan квантовала флагманскую модель Hy3 до 1bit и 4bit — развёртывание на одной карте. 14 июля 2026. https://new.nat6.net/ru/news/cmsdu2uhb013orofz5u7hfmv2/

Смотреть все →