Mga Tutorial at Tip

Ipinaliwanag ng Hugging Face kung paano naglo-load at nagpapatakbo ang Accelerate ng napakalaking modelo gamit ang PyTorch

Orihinal na pamagat:How 🤗 Accelerate runs very large models thanks to PyTorch

AI summary

Naglabas ang Hugging Face ng blog na nagpapaliwanag kung paano naglo-load at nagpapatakbo ang Accelerate ng mga modelong lumalampas sa memory ng isang makina. Ang pangunahing paraan ay gumawa ng walang laman na modelo gamit ang PyTorch meta device, awtomatikong kalkulahin ng infer_auto_device_map ang paghahati sa GPU, CPU at disk, mag-load ng weights ayon sa shard, at ilipat ang weights bago at pagkatapos ng bawat forward propagation sa pamamagitan ng hooks.

Mahahalagang impormasyon

  • Naglabas ang Hugging Face ng blog na nagpapaliwanag kung paano naglo-load at nagpapatakbo ang…
  • Ang pangunahing paraan ay gumawa ng walang laman na modelo gamit ang PyTorch meta…
  • CPU at disk,mag-load ng weights ayon sa shard,at ilipat ang weights bago at pagkatapos ng bawat…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Mga Tutorial at Tip
AI na marka
71
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Ipinaliwanag ng Hugging Face kung paano naglo-load at nagpapatakbo ang Accelerate ng napakalaking modelo gamit ang PyTorch. 27 Setyembre 2022. https://new.nat6.net/fil/news/rbxqwwp26sryhiutt1zy63otg/

Tingnan lahat →