Tutoriels et astuces

Démarrage à froid 60 fois plus rapide : utiliser des GPU de même niveau comme serveurs de poids

Titre original:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers

Résumé IA

L'équipe de la plateforme Runway a développé le système NCCLBack, qui réduit le temps de démarrage à froid des modèles de plusieurs minutes à quelques secondes grâce au transfert de poids en P2P. Son innovation centrale consiste à permettre aux nouveaux nœuds d'inférence GPU de récupérer directement les paramètres du modèle auprès de GPU de même niveau ayant déjà chargé les poids dans le cluster, plutôt que de les télécharger à nouveau depuis le stockage cloud. Le système exploite les interconnexions GPU (InfiniBand, NVLink) offrant jusqu'à 200-400 Gbps, soit un gain de plusieurs ordres de grandeur par rapport aux 2-10 Gbps du téléchargement depuis le stockage traditionnel. Grâce à la coordination Redis et aux primitives de diffusion NCCL, NCCLBack garantit l'efficacité et la correctesse du transfert de données, de sorte que, lors du déploiement de nouveaux modèles sur des clusters à grande échelle, le temps de démarrage à froid n'augmente pas linéairement avec le nombre de nœuds et reste essentiellement constant.

Points clés

  • L'équipe de la plateforme Runway a développé le système NCCLBack,qui réduit le temps de démarrage…
  • Son innovation centrale consiste à permettre aux nouveaux nœuds d'inférence GPU de récupérer…
  • Le système exploite les interconnexions GPU (InfiniBand,NVLink) offrant jusqu'à 200-400 Gbps,soit…
  • Grâce à la coordination Redis et aux primitives de diffusion NCCL,NCCLBack garantit l'efficacité…

En bref

Publié
Mis à jour
Source
Runway:News(网页)
Catégorie
Tutoriels et astuces
Score IA
55
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Démarrage à froid 60 fois plus rapide : utiliser des GPU de même niveau comme serveurs de poids. 4. mai 2026. https://new.nat6.net/fr/news/cmosrd1ac00v8slplayzv4fhm/

Tout voir →