Tutorial dan petua

Hugging Face huraikan cara Accelerate memuat dan menjalankan model sangat besar dengan PyTorch

Tajuk asal:How 🤗 Accelerate runs very large models thanks to PyTorch

Ringkasan AI

Hugging Face menerbitkan blog yang menghuraikan cara Accelerate memuat dan menjalankan model sangat besar yang melebihi memori satu mesin. Kaedah terasnya ialah mencipta model kosong dengan PyTorch meta device, menggunakan infer_auto_device_map untuk mengira pembahagian peranti GPU, CPU dan cakera secara automatik, memuat pemberat mengikut serpihan, serta memindahkan pemberat sebelum dan selepas setiap penyebaran ke hadapan melalui hooks.

Maklumat penting

  • Hugging Face menerbitkan blog yang menghuraikan cara Accelerate memuat dan menjalankan model…
  • Kaedah terasnya ialah mencipta model kosong dengan PyTorch meta device,menggunakan…
  • memuat pemberat mengikut serpihan,serta memindahkan pemberat sebelum dan selepas setiap penyebaran…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial dan petua
Skor AI
71
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Hugging Face huraikan cara Accelerate memuat dan menjalankan model sangat besar dengan PyTorch. 27 September 2022. https://new.nat6.net/ms/news/rbxqwwp26sryhiutt1zy63otg/

Lihat Semua →