Démarrage à froid 60 fois plus rapide : utiliser des GPU de même niveau comme serveurs de poids
Titre original:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
Résumé IA
L'équipe de la plateforme Runway a développé le système NCCLBack, qui réduit le temps de démarrage à froid des modèles de plusieurs minutes à quelques secondes grâce au transfert de poids en P2P. Son innovation centrale consiste à permettre aux nouveaux nœuds d'inférence GPU de récupérer directement les paramètres du modèle auprès de GPU de même niveau ayant déjà chargé les poids dans le cluster, plutôt que de les télécharger à nouveau depuis le stockage cloud. Le système exploite les interconnexions GPU (InfiniBand, NVLink) offrant jusqu'à 200-400 Gbps, soit un gain de plusieurs ordres de grandeur par rapport aux 2-10 Gbps du téléchargement depuis le stockage traditionnel. Grâce à la coordination Redis et aux primitives de diffusion NCCL, NCCLBack garantit l'efficacité et la correctesse du transfert de données, de sorte que, lors du déploiement de nouveaux modèles sur des clusters à grande échelle, le temps de démarrage à froid n'augmente pas linéairement avec le nombre de nœuds et reste essentiellement constant.
Points clés
- L'équipe de la plateforme Runway a développé le système NCCLBack,qui réduit le temps de démarrage…
- Son innovation centrale consiste à permettre aux nouveaux nœuds d'inférence GPU de récupérer…
- Le système exploite les interconnexions GPU (InfiniBand,NVLink) offrant jusqu'à 200-400 Gbps,soit…
- Grâce à la coordination Redis et aux primitives de diffusion NCCL,NCCLBack garantit l'efficacité…
En bref
- Publié
- Mis à jour
- Source
- Runway:News(网页)
- Catégorie
- Tutoriels et astuces
- Score IA
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Démarrage à froid 60 fois plus rapide : utiliser des GPU de même niveau comme serveurs de poids. 4. mai 2026. https://new.nat6.net/fr/news/cmosrd1ac00v8slplayzv4fhm/