Hugging Face menjelaskan cara Accelerate memuat dan menjalankan model sangat besar dengan PyTorch
Judul asli:How 🤗 Accelerate runs very large models thanks to PyTorch
Ringkasan AI
Hugging Face merilis blog yang menjelaskan cara Accelerate memuat dan menjalankan model sangat besar yang melebihi memori satu mesin. Pendekatan intinya adalah membuat model kosong dengan PyTorch meta device, menghitung otomatis alokasi perangkat GPU, CPU, dan disk menggunakan infer_auto_device_map, memuat bobot per shard, serta memindahkan bobot melalui hooks sebelum dan sesudah setiap forward pass.
Poin utama
- Hugging Face merilis blog yang menjelaskan cara Accelerate memuat dan menjalankan model sangat…
- Pendekatan intinya adalah membuat model kosong dengan PyTorch meta device,menghitung otomatis…
- memuat bobot per shard,serta memindahkan bobot melalui hooks sebelum dan sesudah setiap forward…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Tutorial & Tips
- Skor AI
- 71
原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Hugging Face menjelaskan cara Accelerate memuat dan menjalankan model sangat besar dengan PyTorch. 27 September 2022. https://new.nat6.net/id/news/rbxqwwp26sryhiutt1zy63otg/