Tutorials & Tipps

60-fach schnellerer Kaltstart: Gleichrangige GPUs als Gewichtsserver

Originaltitel:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers

KI-Zusammenfassung

Das Runway-Plattformteam hat das NCCLBack-System entwickelt, das die Kaltstartzeit von Modellen durch P2P-Gewichtsübertragung von mehreren Minuten auf Sekunden verkürzt. Die zentrale Innovation besteht darin, dass neu gestartete GPU-Inferenzknoten die Modellparameter direkt von gleichrangigen GPUs im Cluster beziehen, die die Gewichte bereits geladen haben, statt sie erneut aus dem Cloud-Speicher herunterzuladen. Das System nutzt die Bandbreite der GPU-Interconnects (etwa InfiniBand, NVLink) von bis zu 200–400 Gbps und erzielt damit eine Größenordnungsverbesserung gegenüber herkömmlichen Speicher-Downloads mit 2–10 Gbps. Durch Redis-Koordination und NCCL-Broadcast-Primitive gewährleistet NCCLBack Effizienz und Korrektheit der Datenübertragung, sodass die Kaltstartzeit bei der Bereitstellung neuer Modelle in großen Clustern nicht linear mit der Knotenzahl wächst, sondern nahezu konstant bleibt.

Kernpunkte

  • Das Runway-Plattformteam hat das NCCLBack-System entwickelt,das die Kaltstartzeit von Modellen…
  • Die zentrale Innovation besteht darin,dass neu gestartete GPU-Inferenzknoten die Modellparameter…
  • Das System nutzt die Bandbreite der GPU-Interconnects (etwa InfiniBand,NVLink) von bis zu 200–400…
  • Durch Redis-Koordination und NCCL-Broadcast-Primitive gewährleistet NCCLBack Effizienz und…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Runway:News(网页)
Kategorie
Tutorials & Tipps
KI-Bewertung
55
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: 60-fach schnellerer Kaltstart: Gleichrangige GPUs als Gewichtsserver. 4. Mai 2026. https://new.nat6.net/de/news/cmosrd1ac00v8slplayzv4fhm/

Alle ansehen →