Productos y aplicaciones

Tencent Hunyuan cuantiza el modelo insignia Hy3 a 1 bit y 4 bits, desplegable en una sola tarjeta

Título original:极致量化,近三千亿参数 Hy3 单卡即可部署

Resumen de IA

Tencent Hunyuan ha cuantizado a 1 bit y 4 bits los pesos del modelo insignia Hy3, de 295B de parámetros, y los ha empaquetado en GGUF; junto con el ecosistema llama.cpp, el modelo, que antes requería un clúster de varias tarjetas, puede ejecutarse con un mínimo de una tarjeta gráfica de inferencia de 96 GB. La versión de 1 bit comprime los pesos de 598 GB a 85,5 GiB, y la de 4 bits ocupa 169,9 GiB y puede alojarse en dos tarjetas; las versiones cuantizadas se acercan al rendimiento completo en comprensión de textos largos, Agent y tareas de código, y al activar MTP la velocidad de decodificación aumenta aproximadamente un 50%-60%.

Puntos clave

  • Tencent Hunyuan ha cuantizado a 1 bit y 4 bits los pesos del modelo insignia Hy3,de 295B de…
  • junto con el ecosistema llama.
  • cpp,el modelo,que antes requería un clúster de varias tarjetas,puede ejecutarse con un mínimo de…
  • La versión de 1 bit comprime los pesos de 598 GB a 85,5 GiB,y la de 4 bits ocupa 169,9 GiB y puede…
  • las versiones cuantizadas se acercan al rendimiento completo en comprensión de textos largos,Agent…

Resumen rápido

Publicado
Actualizado
Fuente
公众号:腾讯混元
Categoría
Productos y aplicaciones
Puntuación IA
78
Leer el original Leer el artículo completo en la fuente original
Por qué importa

将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Tencent Hunyuan cuantiza el modelo insignia Hy3 a 1 bit y 4 bits, desplegable en una sola tarjeta. 14. julio 2026. https://new.nat6.net/es/news/cmsdu2uhb013orofz5u7hfmv2/

Ver todo →