60x na mas mabilis na cold start: ituring ang kapantay na GPU bilang weight server
Orihinal na pamagat:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
AI summary
Ang NCCLBack system na binuo ng Runway platform team ay nagpaikli ng cold start time ng modelo mula ilang minuto tungo sa ilang segundo sa pamamagitan ng P2P weight transfer. Ang pangunahing inobasyon nito ay ang pagkuha ng bagong-launch na GPU inference node ng mga model parameter nang direkta mula sa kapantay na GPU sa cluster na may naka-load nang weight, sa halip na paulit-ulit na mag-download mula sa cloud storage. Ginagamit ng system na ito ang GPU interconnect (tulad ng InfiniBand, NVLink) na may bandwidth na hanggang 200-400 Gbps, na nagkamit ng order-of-magnitude na pagtaas kumpara sa tradisyonal na storage download na 2-10 Gbps. Sa pamamagitan ng Redis coordination at NCCL broadcast primitive, tinitiyak ng NCCLBack ang kahusayan at kawastuhan ng data transmission, kaya kapag nagde-deploy ng bagong modelo sa malakihang cluster, ang cold start time ay hindi lumalaki nang linear sa bilang ng node, at nananatiling halos constant.
Mahahalagang impormasyon
- Ang NCCLBack system na binuo ng Runway platform team ay nagpaikli ng cold start time ng modelo…
- Ang pangunahing inobasyon nito ay ang pagkuha ng bagong-launch na GPU inference node ng mga model…
- Ginagamit ng system na ito ang GPU interconnect (tulad ng InfiniBand,NVLink) na may bandwidth na…
- Sa pamamagitan ng Redis coordination at NCCL broadcast primitive,tinitiyak ng NCCLBack ang…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Runway:News(网页)
- Kategorya
- Mga Tutorial at Tip
- AI na marka
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: 60x na mas mabilis na cold start: ituring ang kapantay na GPU bilang weight server. 4 Mayo 2026. https://new.nat6.net/fil/news/cmosrd1ac00v8slplayzv4fhm/