บทแนะนำและเทคนิค

Hugging Face อธิบายวิธีที่ Accelerate ใช้ PyTorch โหลดและรันโมเดลขนาดใหญ่พิเศษ

หัวข้อต้นฉบับ:How 🤗 Accelerate runs very large models thanks to PyTorch

สรุปโดย AI

Hugging Face เผยแพร่บล็อกอธิบายวิธีที่ Accelerate โหลดและรันโมเดลขนาดใหญ่พิเศษที่เกินหน่วยความจำของเครื่องเดียว โดยแนวทางหลักคือสร้างโมเดลเปล่าด้วย PyTorch meta device ใช้ infer_auto_device_map คำนวณการจัดสรรอุปกรณ์ระหว่าง GPU, CPU และดิสก์โดยอัตโนมัติ โหลดน้ำหนักตามชาร์ด และย้ายน้ำหนักผ่าน hooks ก่อนและหลังการส่งต่อข้อมูลไปข้างหน้าแต่ละครั้ง

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
71
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Hugging Face อธิบายวิธีที่ Accelerate ใช้ PyTorch โหลดและรันโมเดลขนาดใหญ่พิเศษ 27 กันยายน 2022 https://new.nat6.net/th/news/rbxqwwp26sryhiutt1zy63otg/

ดูทั้งหมด →