Hugging Face ने समझाया कि कैसे Accelerate PyTorch की मदद से अल्ट्रा-लार्ज मॉडल लोड और रन करता है
मूल शीर्षक:How 🤗 Accelerate runs very large models thanks to PyTorch
AI सारांश
Hugging Face ने एक ब्लॉग जारी कर समझाया है कि कैसे Accelerate सिंगल-मशीन मेमोरी से बड़े अल्ट्रा-लार्ज मॉडल को लोड और रन करता है। इसका मुख्य तरीका PyTorch meta device से खाली मॉडल बनाना, infer_auto_device_map से GPU, CPU और डिस्क आवंटन की स्वचालित गणना करना, शार्ड्स में वेट्स लोड करना और हर फॉरवर्ड पास से पहले और बाद में hooks के माध्यम से वेट्स को ट्रांसफर करना है।
मुख्य जानकारी
- Hugging Face ने एक ब्लॉग जारी कर समझाया है कि कैसे Accelerate सिंगल-मशीन मेमोरी से बड़े…
- infer_auto_device_map से GPU
- CPU और डिस्क आवंटन की स्वचालित गणना करना,शार्ड्स में वेट्स लोड करना और हर फॉरवर्ड पास से पहले और…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 71
原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Hugging Face ने समझाया कि कैसे Accelerate PyTorch की मदद से अल्ट्रा-लार्ज मॉडल लोड और रन करता है। 27 सितंबर 2022। https://new.nat6.net/hi/news/rbxqwwp26sryhiutt1zy63otg/