บทแนะนำและเทคนิค

Hugging Face อธิบายการผสานและการใช้งานการควอนไทซ์ 8 บิต LLM.int8() ใน transformers

หัวข้อต้นฉบับ:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes

สรุปโดย AI

Hugging Face ร่วมมือกับ bitsandbytes ผสานการคูณเมทริกซ์ 8 บิต LLM.int8() เข้ากับไลบรารี transformers และ accelerate อย่างสมบูรณ์ ทำให้โมเดลขนาดใหญ่อย่าง BLOOM-176B ใช้หน่วยความจำ GPU ในการอนุมานลดลงครึ่งหนึ่งโดยประสิทธิภาพไม่ลดลง

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
79
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Hugging Face อธิบายการผสานและการใช้งานการควอนไทซ์ 8 บิต LLM.int8() ใน transformers 17 สิงหาคม 2022 https://new.nat6.net/th/news/cvasrthz1q3ab3rto0poz5wsb/

ดูทั้งหมด →