Khởi động nguội nhanh gấp 60 lần: coi GPU cùng cấp là máy chủ trọng số
Tiêu đề gốc:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
Tóm tắt AI
Hệ thống NCCLBack do nhóm nền tảng Runway phát triển rút ngắn thời gian khởi động nguội mô hình từ vài phút xuống vài giây nhờ truyền trọng số P2P. Đổi mới cốt lõi là để node suy luận GPU mới khởi động lấy tham số mô hình trực tiếp từ GPU cùng cấp đã nạp trọng số trong cụm, thay vì tải lại từ lưu trữ đám mây. Hệ thống tận dụng băng thông 200-400 Gbps của liên kết GPU (như InfiniBand, NVLink), tăng theo cấp số so với 2-10 Gbps khi tải từ lưu trữ truyền thống. Qua điều phối Redis và nguyên thủy broadcast NCCL, NCCLBack đảm bảo hiệu quả và chính xác truyền dữ liệu, giúp thời gian khởi động nguội khi triển khai mô hình mới trên cụm quy mô lớn không tăng tuyến tính theo số node mà gần như không đổi.
Thông tin chính
- Hệ thống NCCLBack do nhóm nền tảng Runway phát triển rút ngắn thời gian khởi động nguội mô hình từ…
- Đổi mới cốt lõi là để node suy luận GPU mới khởi động lấy tham số mô hình trực tiếp từ GPU cùng…
- Hệ thống tận dụng băng thông 200-400 Gbps của liên kết GPU (như InfiniBand,NVLink),tăng theo cấp…
- Qua điều phối Redis và nguyên thủy broadcast NCCL,NCCLBack đảm bảo hiệu quả và chính xác truyền dữ…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Runway:News(网页)
- Danh mục
- Hướng dẫn & mẹo
- Điểm AI
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Khởi động nguội nhanh gấp 60 lần: coi GPU cùng cấp là máy chủ trọng số. 4 tháng 5 2026. https://new.nat6.net/vi/news/cmosrd1ac00v8slplayzv4fhm/