Hugging Face объясняет, как Accelerate загружает и запускает сверхбольшие модели с помощью PyTorch
Оригинальный заголовок:How 🤗 Accelerate runs very large models thanks to PyTorch
ИИ-резюме
Hugging Face опубликовала блог о том, как Accelerate загружает и запускает сверхбольшие модели, превышающие память одной машины. Основной подход — создание пустой модели через PyTorch meta device, автоматическое распределение устройств GPU, CPU и диска с помощью infer_auto_device_map, загрузка весов по шардам и их перемещение через hooks перед и после каждого прямого прохода.
Ключевые моменты
- Hugging Face опубликовала блог о том,как Accelerate загружает и запускает сверхбольшие…
- Основной подход — создание пустой модели через PyTorch meta device,автоматическое распределение…
- загрузка весов по шардам и их перемещение через hooks перед и после каждого прямого прохода.
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Туториалы и советы
- Оценка ИИ
- 71
原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Hugging Face объясняет, как Accelerate загружает и запускает сверхбольшие модели с помощью PyTorch. 27 сентября 2022. https://new.nat6.net/ru/news/rbxqwwp26sryhiutt1zy63otg/