Hugging Face detalla la integración y el uso de la cuantización de 8 bits LLM.int8() en transformers
Título original:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
Resumen de IA
Hugging Face, en colaboración con bitsandbytes, integró completamente la multiplicación de matrices de 8 bits LLM.int8() en las bibliotecas transformers y accelerate, lo que reduce a la mitad el uso de memoria de inferencia de grandes modelos como BLOOM-176B sin degradación del rendimiento.
Puntos clave
- Hugging Face,en colaboración con bitsandbytes,integró completamente la multiplicación de matrices…
- int8 en las bibliotecas transformers y accelerate
- lo que reduce a la mitad el uso de memoria de inferencia de grandes modelos como BLOOM-176B sin…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 79
文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Hugging Face detalla la integración y el uso de la cuantización de 8 bits LLM.int8() en transformers. 17. agosto 2022. https://new.nat6.net/es/news/cvasrthz1q3ab3rto0poz5wsb/