Ipinaliwanag ng Hugging Face kung paano naglo-load at nagpapatakbo ang Accelerate ng napakalaking modelo gamit ang PyTorch
Orihinal na pamagat:How 🤗 Accelerate runs very large models thanks to PyTorch
AI summary
Naglabas ang Hugging Face ng blog na nagpapaliwanag kung paano naglo-load at nagpapatakbo ang Accelerate ng mga modelong lumalampas sa memory ng isang makina. Ang pangunahing paraan ay gumawa ng walang laman na modelo gamit ang PyTorch meta device, awtomatikong kalkulahin ng infer_auto_device_map ang paghahati sa GPU, CPU at disk, mag-load ng weights ayon sa shard, at ilipat ang weights bago at pagkatapos ng bawat forward propagation sa pamamagitan ng hooks.
Mahahalagang impormasyon
- Naglabas ang Hugging Face ng blog na nagpapaliwanag kung paano naglo-load at nagpapatakbo ang…
- Ang pangunahing paraan ay gumawa ng walang laman na modelo gamit ang PyTorch meta…
- CPU at disk,mag-load ng weights ayon sa shard,at ilipat ang weights bago at pagkatapos ng bawat…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Hugging Face 社区博客(混合发现)
- Kategorya
- Mga Tutorial at Tip
- AI na marka
- 71
原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Ipinaliwanag ng Hugging Face kung paano naglo-load at nagpapatakbo ang Accelerate ng napakalaking modelo gamit ang PyTorch. 27 Setyembre 2022. https://new.nat6.net/fil/news/rbxqwwp26sryhiutt1zy63otg/