Tutoriales y consejos

Hugging Face explica cómo Accelerate carga y ejecuta modelos gigantes con PyTorch

Título original:How 🤗 Accelerate runs very large models thanks to PyTorch

Resumen de IA

Hugging Face publica un blog que explica cómo Accelerate carga y ejecuta modelos gigantes que superan la memoria de una sola máquina. La clave es crear un modelo vacío con el meta device de PyTorch, calcular automáticamente la asignación de dispositivos entre GPU, CPU y disco con infer_auto_device_map, cargar los pesos por fragmentos y moverlos mediante hooks antes y después de cada propagación hacia delante.

Puntos clave

  • Hugging Face publica un blog que explica cómo Accelerate carga y ejecuta modelos gigantes que…
  • La clave es crear un modelo vacío con el meta device de PyTorch,calcular automáticamente la…
  • cargar los pesos por fragmentos y moverlos mediante hooks antes y después de cada propagación…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Tutoriales y consejos
Puntuación IA
71
Leer el original Leer el artículo completo en la fuente original
Por qué importa

原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Hugging Face explica cómo Accelerate carga y ejecuta modelos gigantes con PyTorch. 27. septiembre 2022. https://new.nat6.net/es/news/rbxqwwp26sryhiutt1zy63otg/

Ver todo →