Tencent Hunyuan квантовала флагманскую модель Hy3 до 1bit и 4bit — развёртывание на одной карте
Оригинальный заголовок:极致量化,近三千亿参数 Hy3 单卡即可部署
ИИ-резюме
Tencent Hunyuan квантовала веса флагманской модели Hy3 с 295B параметров до 1bit и 4bit и упаковала их в GGUF; вместе с экосистемой llama.cpp это позволяет запускать модель, ранее требовавшую многоузлового кластера, минимум на одном 96GB ускорителе вывода. Версия 1bit сжимает веса с 598GB до 85,5GiB, версия 4bit занимает 169,9GiB и помещается на две карты; квантованные версии близки к полной по пониманию длинных текстов, Agent- и кодовым задачам, а с MTP скорость декодирования растёт примерно на 50–60%.
Ключевые моменты
- Tencent Hunyuan квантовала веса флагманской модели Hy3 с 295B параметров до 1bit и 4bit и…
- вместе с экосистемой llama.
- cpp это позволяет запускать модель,ранее требовавшую многоузлового кластера,минимум на одном 96GB…
- Версия 1bit сжимает веса с 598GB до 85,5GiB,версия 4bit занимает 169,9GiB и помещается на две карты
- квантованные версии близки к полной по пониманию длинных текстов,Agent- и кодовым задачам,а с MTP…
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:腾讯混元
- Категория
- Продукты и приложения
- Оценка ИИ
- 78
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Tencent Hunyuan квантовала флагманскую модель Hy3 до 1bit и 4bit — развёртывание на одной карте. 14 июля 2026. https://new.nat6.net/ru/news/cmsdu2uhb013orofz5u7hfmv2/