Hugging Face подробно описывает интеграцию 8-битного квантования LLM.int8() в transformers
Оригинальный заголовок:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
ИИ-резюме
Hugging Face совместно с bitsandbytes полностью интегрировала 8-битное матричное умножение LLM.int8() в библиотеки transformers и accelerate, что вдвое снижает расход видеопамяти при инференсе таких больших моделей, как BLOOM-176B, без потери производительности.
Ключевые моменты
- Hugging Face совместно с bitsandbytes полностью интегрировала 8-битное матричное умножение LLM.
- int8 в библиотеки transformers и accelerate,что вдвое снижает расход видеопамяти при инференсе…
- как BLOOM-176B,без потери производительности.
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Туториалы и советы
- Оценка ИИ
- 79
文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Hugging Face подробно описывает интеграцию 8-битного квантования LLM.int8() в transformers. 17 августа 2022. https://new.nat6.net/ru/news/cvasrthz1q3ab3rto0poz5wsb/