Hugging Face explica cómo Accelerate carga y ejecuta modelos gigantes con PyTorch
Título original:How 🤗 Accelerate runs very large models thanks to PyTorch
Resumen de IA
Hugging Face publica un blog que explica cómo Accelerate carga y ejecuta modelos gigantes que superan la memoria de una sola máquina. La clave es crear un modelo vacío con el meta device de PyTorch, calcular automáticamente la asignación de dispositivos entre GPU, CPU y disco con infer_auto_device_map, cargar los pesos por fragmentos y moverlos mediante hooks antes y después de cada propagación hacia delante.
Puntos clave
- Hugging Face publica un blog que explica cómo Accelerate carga y ejecuta modelos gigantes que…
- La clave es crear un modelo vacío con el meta device de PyTorch,calcular automáticamente la…
- cargar los pesos por fragmentos y moverlos mediante hooks antes y después de cada propagación…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 71
原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Hugging Face explica cómo Accelerate carga y ejecuta modelos gigantes con PyTorch. 27. septiembre 2022. https://new.nat6.net/es/news/rbxqwwp26sryhiutt1zy63otg/