Arranque en frío 60 veces más rápido: tratar las GPU del mismo nivel como servidores de pesos
Título original:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
Resumen de IA
El equipo de la plataforma Runway desarrolló el sistema NCCLBack, que reduce el tiempo de arranque en frío de los modelos de varios minutos a unos segundos mediante la transferencia de pesos P2P. Su innovación central consiste en que los nodos de inferencia con GPU recién iniciados obtienen los parámetros del modelo directamente de las GPU del mismo nivel que ya tienen los pesos cargados dentro del clúster, en lugar de descargarlos repetidamente desde el almacenamiento en la nube. El sistema aprovecha el ancho de banda de hasta 200-400 Gbps de las interconexiones de GPU (como InfiniBand y NVLink), lo que supone una mejora de órdenes de magnitud frente a los 2-10 Gbps de la descarga desde almacenamiento tradicional. Mediante la coordinación con Redis y las primitivas de difusión de NCCL, NCCLBack garantiza la eficiencia y la corrección de la transferencia de datos, de modo que, al desplegar nuevos modelos en clústeres a gran escala, el tiempo de arranque en frío no crece linealmente con el número de nodos y se mantiene básicamente constante.
Puntos clave
- El equipo de la plataforma Runway desarrolló el sistema NCCLBack,que reduce el tiempo de arranque…
- Su innovación central consiste en que los nodos de inferencia con GPU recién iniciados obtienen…
- El sistema aprovecha el ancho de banda de hasta 200-400 Gbps de las interconexiones de GPU (como…
- Mediante la coordinación con Redis y las primitivas de difusión de NCCL,NCCLBack garantiza la…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Runway:News(网页)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Arranque en frío 60 veces más rápido: tratar las GPU del mismo nivel como servidores de pesos. 4. mayo 2026. https://new.nat6.net/es/news/cmosrd1ac00v8slplayzv4fhm/