Mga produkto at aplikasyon

Kwinantisa ng Tencent Hunyuan ang Hy3 flagship model sa 1bit at 4bit, kayang i-deploy sa isang card

Orihinal na pamagat:极致量化,近三千亿参数 Hy3 单卡即可部署

AI summary

Kwinantisa ng Tencent Hunyuan ang mga timbang ng 295B-parameter na Hy3 flagship model sa 1bit at 4bit at pinakete bilang GGUF. Sa pakikipagtulungan sa llama.cpp ecosystem, ang modelong dating kailangan ng multi-card cluster deployment ay maaari nang patakbuhin sa minimum na isang 96GB inference GPU. Binaba ng 1bit na bersyon ang mga timbang mula 598GB patungong 85.5GiB, habang ang 4bit na bersyon ay 169.9GiB at kayang hawakan ng dalawang GPU. Ang quantized na bersyon ay malapit sa full-performance na epekto sa pag-unawa ng mahabang teksto, Agent, at mga gawain sa code; kapag naka-enable ang MTP, tumataas ang bilis ng decoding nang humigit-kumulang 50%-60%.

Mahahalagang impormasyon

  • Kwinantisa ng Tencent Hunyuan ang mga timbang ng 295B-parameter na Hy3 flagship model sa 1bit at…
  • Sa pakikipagtulungan sa llama.
  • cpp ecosystem,ang modelong dating kailangan ng multi-card cluster deployment ay maaari nang…
  • Binaba ng 1bit na bersyon ang mga timbang mula 598GB patungong 85.
  • 5GiB,habang ang 4bit na bersyon ay 169.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:腾讯混元
Kategorya
Mga produkto at aplikasyon
AI na marka
78
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Kwinantisa ng Tencent Hunyuan ang Hy3 flagship model sa 1bit at 4bit, kayang i-deploy sa isang card. 14 Hulyo 2026. https://new.nat6.net/fil/news/cmsdu2uhb013orofz5u7hfmv2/

Tingnan lahat →