Tencent Hunyuan cuantiza el modelo insignia Hy3 a 1 bit y 4 bits, desplegable en una sola tarjeta
Título original:极致量化,近三千亿参数 Hy3 单卡即可部署
Resumen de IA
Tencent Hunyuan ha cuantizado a 1 bit y 4 bits los pesos del modelo insignia Hy3, de 295B de parámetros, y los ha empaquetado en GGUF; junto con el ecosistema llama.cpp, el modelo, que antes requería un clúster de varias tarjetas, puede ejecutarse con un mínimo de una tarjeta gráfica de inferencia de 96 GB. La versión de 1 bit comprime los pesos de 598 GB a 85,5 GiB, y la de 4 bits ocupa 169,9 GiB y puede alojarse en dos tarjetas; las versiones cuantizadas se acercan al rendimiento completo en comprensión de textos largos, Agent y tareas de código, y al activar MTP la velocidad de decodificación aumenta aproximadamente un 50%-60%.
Puntos clave
- Tencent Hunyuan ha cuantizado a 1 bit y 4 bits los pesos del modelo insignia Hy3,de 295B de…
- junto con el ecosistema llama.
- cpp,el modelo,que antes requería un clúster de varias tarjetas,puede ejecutarse con un mínimo de…
- La versión de 1 bit comprime los pesos de 598 GB a 85,5 GiB,y la de 4 bits ocupa 169,9 GiB y puede…
- las versiones cuantizadas se acercan al rendimiento completo en comprensión de textos largos,Agent…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:腾讯混元
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 78
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Tencent Hunyuan cuantiza el modelo insignia Hy3 a 1 bit y 4 bits, desplegable en una sola tarjeta. 14. julio 2026. https://new.nat6.net/es/news/cmsdu2uhb013orofz5u7hfmv2/