Cold start 60 kali lebih cepat: memperlakukan GPU sejawat sebagai server bobot
Judul asli:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
Ringkasan AI
Tim platform Runway mengembangkan sistem NCCLBack yang mempersingkat waktu cold start model dari beberapa menit menjadi beberapa detik melalui transfer bobot P2P. Inovasi intinya adalah membuat node inferensi GPU yang baru dijalankan memperoleh parameter model langsung dari GPU sejawat di kluster yang telah memuat bobot, alih-alih mengunduh ulang dari penyimpanan cloud. Sistem ini memanfaatkan bandwidth interkoneksi GPU (seperti InfiniBand, NVLink) hingga 200-400 Gbps, peningkatan orde besaran dibandingkan unduhan penyimpanan tradisional 2-10 Gbps. Melalui koordinasi Redis dan primitif siaran NCCL, NCCLBack memastikan efisiensi dan ketepatan transfer data, sehingga saat menerapkan model baru di kluster berskala besar, waktu cold start tidak tumbuh linear dengan jumlah node dan pada dasarnya tetap konstan.
Poin utama
- Tim platform Runway mengembangkan sistem NCCLBack yang mempersingkat waktu cold start model dari…
- Inovasi intinya adalah membuat node inferensi GPU yang baru dijalankan memperoleh parameter model…
- Sistem ini memanfaatkan bandwidth interkoneksi GPU (seperti InfiniBand,NVLink) hingga 200-400…
- Melalui koordinasi Redis dan primitif siaran NCCL,NCCLBack memastikan efisiensi dan ketepatan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Runway:News(网页)
- Kategori
- Tutorial & Tips
- Skor AI
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Cold start 60 kali lebih cepat: memperlakukan GPU sejawat sebagai server bobot. 4 Mei 2026. https://new.nat6.net/id/news/cmosrd1ac00v8slplayzv4fhm/