Туториалы и советы

Hugging Face объясняет, как Accelerate загружает и запускает сверхбольшие модели с помощью PyTorch

Оригинальный заголовок:How 🤗 Accelerate runs very large models thanks to PyTorch

ИИ-резюме

Hugging Face опубликовала блог о том, как Accelerate загружает и запускает сверхбольшие модели, превышающие память одной машины. Основной подход — создание пустой модели через PyTorch meta device, автоматическое распределение устройств GPU, CPU и диска с помощью infer_auto_device_map, загрузка весов по шардам и их перемещение через hooks перед и после каждого прямого прохода.

Ключевые моменты

  • Hugging Face опубликовала блог о том,как Accelerate загружает и запускает сверхбольшие…
  • Основной подход — создание пустой модели через PyTorch meta device,автоматическое распределение…
  • загрузка весов по шардам и их перемещение через hooks перед и после каждого прямого прохода.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Туториалы и советы
Оценка ИИ
71
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Hugging Face объясняет, как Accelerate загружает и запускает сверхбольшие модели с помощью PyTorch. 27 сентября 2022. https://new.nat6.net/ru/news/rbxqwwp26sryhiutt1zy63otg/

Смотреть все →