60-fach schnellerer Kaltstart: Gleichrangige GPUs als Gewichtsserver
Originaltitel:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
KI-Zusammenfassung
Das Runway-Plattformteam hat das NCCLBack-System entwickelt, das die Kaltstartzeit von Modellen durch P2P-Gewichtsübertragung von mehreren Minuten auf Sekunden verkürzt. Die zentrale Innovation besteht darin, dass neu gestartete GPU-Inferenzknoten die Modellparameter direkt von gleichrangigen GPUs im Cluster beziehen, die die Gewichte bereits geladen haben, statt sie erneut aus dem Cloud-Speicher herunterzuladen. Das System nutzt die Bandbreite der GPU-Interconnects (etwa InfiniBand, NVLink) von bis zu 200–400 Gbps und erzielt damit eine Größenordnungsverbesserung gegenüber herkömmlichen Speicher-Downloads mit 2–10 Gbps. Durch Redis-Koordination und NCCL-Broadcast-Primitive gewährleistet NCCLBack Effizienz und Korrektheit der Datenübertragung, sodass die Kaltstartzeit bei der Bereitstellung neuer Modelle in großen Clustern nicht linear mit der Knotenzahl wächst, sondern nahezu konstant bleibt.
Kernpunkte
- Das Runway-Plattformteam hat das NCCLBack-System entwickelt,das die Kaltstartzeit von Modellen…
- Die zentrale Innovation besteht darin,dass neu gestartete GPU-Inferenzknoten die Modellparameter…
- Das System nutzt die Bandbreite der GPU-Interconnects (etwa InfiniBand,NVLink) von bis zu 200–400…
- Durch Redis-Koordination und NCCL-Broadcast-Primitive gewährleistet NCCLBack Effizienz und…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Runway:News(网页)
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: 60-fach schnellerer Kaltstart: Gleichrangige GPUs als Gewichtsserver. 4. Mai 2026. https://new.nat6.net/de/news/cmosrd1ac00v8slplayzv4fhm/