チュートリアル

Hugging Face、AccelerateがPyTorchで超大規模モデルを読み込み・実行する方法を解説

原題:How 🤗 Accelerate runs very large models thanks to PyTorch

AI 要約

Hugging Faceはブログを公開し、Accelerateが単一マシンのメモリを超える超大規模モデルをどのように読み込み・実行するかを解説した。中核となる手法は、PyTorchのmeta deviceで空のモデルを作成し、infer_auto_device_mapでGPU、CPU、ディスクへのデバイス割り当てを自動計算し、シャードごとに重みを読み込み、hooksを通じて各フォワードパス前後に重みを移動するというもの。

要点

  • Hugging Faceはブログを公開し、Accelerateが単一マシンのメモリを超える超大規模モデルをどのように読み込み・実行するかを解説した。
  • 中核となる手法は、PyTorchのmeta deviceで空のモデルを作成し、infer_auto_device_mapでGPU、ディスクへのデバイス割り当てを自動計算し
  • シャードごとに重みを読み込み、hooksを通じて各フォワードパス前後に重みを移動するというもの

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
チュートリアル
AI スコア
71
原文を読む 情報源で全文を読む
おすすめの理由

原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Hugging Face、AccelerateがPyTorchで超大規模モデルを読み込み・実行する方法を解説。2022年9月27日。https://new.nat6.net/ja/news/rbxqwwp26sryhiutt1zy63otg/

すべて見る →