Tutorial dan petua

Permulaan sejuk 60 kali ganda lebih pantas: menganggap GPU setara sebagai pelayan pemberat

Tajuk asal:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers

Ringkasan AI

Sistem NCCLBack yang dibangunkan pasukan platform Runway memendekkan masa permulaan sejuk model daripada beberapa minit kepada beberapa saat melalui pemindahan pemberat P2P. Inovasi terasnya ialah membolehkan nod penaakulan GPU yang baru dimulakan memperoleh parameter model terus daripada GPU setara dalam kelompok yang telah memuatkan pemberat, bukannya memuat turun semula daripada storan awan. Sistem ini menggunakan lebar jalur interkoneksi GPU (seperti InfiniBand, NVLink) setinggi 200-400 Gbps, mencapai peningkatan tertib magnitud berbanding muat turun storan tradisional 2-10 Gbps. Melalui penyelarasan Redis dan primitif siaran NCCL, NCCLBack memastikan kecekapan dan ketepatan pemindahan data, menjadikan masa permulaan sejuk tidak meningkat secara linear dengan bilangan nod apabila menggunakan model baharu dalam kelompok berskala besar, dan kekal hampir malar.

Maklumat penting

  • Sistem NCCLBack yang dibangunkan pasukan platform Runway memendekkan masa permulaan sejuk model…
  • Inovasi terasnya ialah membolehkan nod penaakulan GPU yang baru dimulakan memperoleh parameter…
  • Sistem ini menggunakan lebar jalur interkoneksi GPU (seperti InfiniBand,NVLink) setinggi 200-400…
  • Melalui penyelarasan Redis dan primitif siaran NCCL,NCCLBack memastikan kecekapan dan ketepatan…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Runway:News(网页)
Kategori
Tutorial dan petua
Skor AI
55
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Permulaan sejuk 60 kali ganda lebih pantas: menganggap GPU setara sebagai pelayan pemberat. 4 Mei 2026. https://new.nat6.net/ms/news/cmosrd1ac00v8slplayzv4fhm/

Lihat Semua →