Mga Tutorial at Tip

60x na mas mabilis na cold start: ituring ang kapantay na GPU bilang weight server

Orihinal na pamagat:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers

AI summary

Ang NCCLBack system na binuo ng Runway platform team ay nagpaikli ng cold start time ng modelo mula ilang minuto tungo sa ilang segundo sa pamamagitan ng P2P weight transfer. Ang pangunahing inobasyon nito ay ang pagkuha ng bagong-launch na GPU inference node ng mga model parameter nang direkta mula sa kapantay na GPU sa cluster na may naka-load nang weight, sa halip na paulit-ulit na mag-download mula sa cloud storage. Ginagamit ng system na ito ang GPU interconnect (tulad ng InfiniBand, NVLink) na may bandwidth na hanggang 200-400 Gbps, na nagkamit ng order-of-magnitude na pagtaas kumpara sa tradisyonal na storage download na 2-10 Gbps. Sa pamamagitan ng Redis coordination at NCCL broadcast primitive, tinitiyak ng NCCLBack ang kahusayan at kawastuhan ng data transmission, kaya kapag nagde-deploy ng bagong modelo sa malakihang cluster, ang cold start time ay hindi lumalaki nang linear sa bilang ng node, at nananatiling halos constant.

Mahahalagang impormasyon

  • Ang NCCLBack system na binuo ng Runway platform team ay nagpaikli ng cold start time ng modelo…
  • Ang pangunahing inobasyon nito ay ang pagkuha ng bagong-launch na GPU inference node ng mga model…
  • Ginagamit ng system na ito ang GPU interconnect (tulad ng InfiniBand,NVLink) na may bandwidth na…
  • Sa pamamagitan ng Redis coordination at NCCL broadcast primitive,tinitiyak ng NCCLBack ang…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Runway:News(网页)
Kategorya
Mga Tutorial at Tip
AI na marka
55
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: 60x na mas mabilis na cold start: ituring ang kapantay na GPU bilang weight server. 4 Mayo 2026. https://new.nat6.net/fil/news/cmosrd1ac00v8slplayzv4fhm/

Tingnan lahat →