Hugging Face ने transformers में LLM.int8() 8-बिट क्वांटाइजेशन के एकीकरण और उपयोग की व्याख्या की
मूल शीर्षक:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
AI सारांश
Hugging Face ने bitsandbytes के साथ सहयोग कर LLM.int8() 8-बिट मैट्रिक्स मल्टिप्लिकेशन को transformers और accelerate लाइब्रेरी में पूरी तरह से एकीकृत किया है, जिससे BLOOM-176B जैसे बड़े भाषा मॉडल की इंफरेंस मेमोरी खपत आधी हो गई है और प्रदर्शन में भी कोई गिरावट नहीं आई है।
मुख्य जानकारी
- Hugging Face ने bitsandbytes के साथ सहयोग कर LLM.
- int8 8-बिट मैट्रिक्स मल्टिप्लिकेशन को transformers और accelerate लाइब्रेरी में पूरी तरह से एकीकृत…
- जिससे BLOOM-176B जैसे बड़े भाषा मॉडल की इंफरेंस मेमोरी खपत आधी हो गई है और प्रदर्शन में भी कोई…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 79
文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Hugging Face ने transformers में LLM.int8() 8-बिट क्वांटाइजेशन के एकीकरण और उपयोग की व्याख्या की। 17 अगस्त 2022। https://new.nat6.net/hi/news/cvasrthz1q3ab3rto0poz5wsb/