Tutoriales y consejos

Hugging Face detalla la integración y el uso de la cuantización de 8 bits LLM.int8() en transformers

Título original:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes

Resumen de IA

Hugging Face, en colaboración con bitsandbytes, integró completamente la multiplicación de matrices de 8 bits LLM.int8() en las bibliotecas transformers y accelerate, lo que reduce a la mitad el uso de memoria de inferencia de grandes modelos como BLOOM-176B sin degradación del rendimiento.

Puntos clave

  • Hugging Face,en colaboración con bitsandbytes,integró completamente la multiplicación de matrices…
  • int8 en las bibliotecas transformers y accelerate
  • lo que reduce a la mitad el uso de memoria de inferencia de grandes modelos como BLOOM-176B sin…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Tutoriales y consejos
Puntuación IA
79
Leer el original Leer el artículo completo en la fuente original
Por qué importa

文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Hugging Face detalla la integración y el uso de la cuantización de 8 bits LLM.int8() en transformers. 17. agosto 2022. https://new.nat6.net/es/news/cvasrthz1q3ab3rto0poz5wsb/

Ver todo →