Tutorial & Tips

Cold start 60 kali lebih cepat: memperlakukan GPU sejawat sebagai server bobot

Judul asli:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers

Ringkasan AI

Tim platform Runway mengembangkan sistem NCCLBack yang mempersingkat waktu cold start model dari beberapa menit menjadi beberapa detik melalui transfer bobot P2P. Inovasi intinya adalah membuat node inferensi GPU yang baru dijalankan memperoleh parameter model langsung dari GPU sejawat di kluster yang telah memuat bobot, alih-alih mengunduh ulang dari penyimpanan cloud. Sistem ini memanfaatkan bandwidth interkoneksi GPU (seperti InfiniBand, NVLink) hingga 200-400 Gbps, peningkatan orde besaran dibandingkan unduhan penyimpanan tradisional 2-10 Gbps. Melalui koordinasi Redis dan primitif siaran NCCL, NCCLBack memastikan efisiensi dan ketepatan transfer data, sehingga saat menerapkan model baru di kluster berskala besar, waktu cold start tidak tumbuh linear dengan jumlah node dan pada dasarnya tetap konstan.

Poin utama

  • Tim platform Runway mengembangkan sistem NCCLBack yang mempersingkat waktu cold start model dari…
  • Inovasi intinya adalah membuat node inferensi GPU yang baru dijalankan memperoleh parameter model…
  • Sistem ini memanfaatkan bandwidth interkoneksi GPU (seperti InfiniBand,NVLink) hingga 200-400…
  • Melalui koordinasi Redis dan primitif siaran NCCL,NCCLBack memastikan efisiensi dan ketepatan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Runway:News(网页)
Kategori
Tutorial & Tips
Skor AI
55
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Cold start 60 kali lebih cepat: memperlakukan GPU sejawat sebagai server bobot. 4 Mei 2026. https://new.nat6.net/id/news/cmosrd1ac00v8slplayzv4fhm/

Lihat semua →