教程与技巧

Hugging Face 讲解 Accelerate 如何借助 PyTorch 加载和运行超大模型

原文标题:How 🤗 Accelerate runs very large models thanks to PyTorch

AI 摘要

Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配,并按分片加载权重,通过 hooks 在每次前向传播前后搬运权重。

关键信息

  • Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。
  • 核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配,并按分片加载权重,通过 hooks 在每…
  • 原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
教程与技巧
AI 评分
71
阅读原文 前往信息源阅读完整正文
推荐理由

原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Hugging Face 讲解 Accelerate 如何借助 PyTorch 加载和运行超大模型。2022年9月27日。https://new.nat6.net/news/rbxqwwp26sryhiutt1zy63otg/

查看全部 →