Ipinaliwanag ng Hugging Face ang integrasyon at paggamit ng LLM.int8() 8-bit quantization sa transformers
Orihinal na pamagat:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
AI summary
Sa pakikipagtulungan ng Hugging Face at bitsandbytes, ganap na isinama ang LLM.int8() 8-bit matrix multiplication sa transformers at accelerate library, kaya nabawasan nang kalahati ang memory usage sa inference ng malalaking modelo tulad ng BLOOM-176B nang walang pagbaba sa performance.
Mahahalagang impormasyon
- Sa pakikipagtulungan ng Hugging Face at bitsandbytes,ganap na isinama ang LLM.
- int8 8-bit matrix multiplication sa transformers at accelerate library
- kaya nabawasan nang kalahati ang memory usage sa inference ng malalaking modelo tulad ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Hugging Face 社区博客(混合发现)
- Kategorya
- Mga Tutorial at Tip
- AI na marka
- 79
文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Ipinaliwanag ng Hugging Face ang integrasyon at paggamit ng LLM.int8() 8-bit quantization sa transformers. 17 Agosto 2022. https://new.nat6.net/fil/news/cvasrthz1q3ab3rto0poz5wsb/