Hugging Face huraikan cara Accelerate memuat dan menjalankan model sangat besar dengan PyTorch
Tajuk asal:How 🤗 Accelerate runs very large models thanks to PyTorch
Ringkasan AI
Hugging Face menerbitkan blog yang menghuraikan cara Accelerate memuat dan menjalankan model sangat besar yang melebihi memori satu mesin. Kaedah terasnya ialah mencipta model kosong dengan PyTorch meta device, menggunakan infer_auto_device_map untuk mengira pembahagian peranti GPU, CPU dan cakera secara automatik, memuat pemberat mengikut serpihan, serta memindahkan pemberat sebelum dan selepas setiap penyebaran ke hadapan melalui hooks.
Maklumat penting
- Hugging Face menerbitkan blog yang menghuraikan cara Accelerate memuat dan menjalankan model…
- Kaedah terasnya ialah mencipta model kosong dengan PyTorch meta device,menggunakan…
- memuat pemberat mengikut serpihan,serta memindahkan pemberat sebelum dan selepas setiap penyebaran…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Tutorial dan petua
- Skor AI
- 71
原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Hugging Face huraikan cara Accelerate memuat dan menjalankan model sangat besar dengan PyTorch. 27 September 2022. https://new.nat6.net/ms/news/rbxqwwp26sryhiutt1zy63otg/