Туториалы и советы

Hugging Face подробно описывает интеграцию 8-битного квантования LLM.int8() в transformers

Оригинальный заголовок:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes

ИИ-резюме

Hugging Face совместно с bitsandbytes полностью интегрировала 8-битное матричное умножение LLM.int8() в библиотеки transformers и accelerate, что вдвое снижает расход видеопамяти при инференсе таких больших моделей, как BLOOM-176B, без потери производительности.

Ключевые моменты

  • Hugging Face совместно с bitsandbytes полностью интегрировала 8-битное матричное умножение LLM.
  • int8 в библиотеки transformers и accelerate,что вдвое снижает расход видеопамяти при инференсе…
  • как BLOOM-176B,без потери производительности.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Туториалы и советы
Оценка ИИ
79
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Hugging Face подробно описывает интеграцию 8-битного квантования LLM.int8() в transformers. 17 августа 2022. https://new.nat6.net/ru/news/cvasrthz1q3ab3rto0poz5wsb/

Смотреть все →