60 गुना तेज कोल्ड स्टार्ट: समान स्तर के GPU को वेट सर्वर के रूप में मानें
मूल शीर्षक:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
AI सारांश
Runway प्लेटफ़ॉर्म टीम द्वारा विकसित NCCLBack सिस्टम, P2P वेट ट्रांसफर के माध्यम से मॉडल कोल्ड स्टार्ट समय को कुछ मिनटों से कुछ सेकंड तक कम करता है। इसकी मुख्य नवीनता नए लॉन्च किए गए GPU अनुमान नोड को क्लस्टर में पहले से लोड किए गए वेट वाले समान स्तर के GPU से सीधे मॉडल पैरामीटर प्राप्त करने देती है, बजाय क्लाउड स्टोरेज से बार-बार डाउनलोड करने के। यह सिस्टम GPU इंटरकनेक्ट (जैसे InfiniBand, NVLink) की 200-400 Gbps तक की बैंडविड्थ का उपयोग करता है, पारंपरिक स्टोरेज डाउनलोड के 2-10 Gbps की तुलना में परिमाण के क्रम में सुधार प्राप्त करता है। Redis समन्वय और NCCL ब्रॉडकास्ट प्रिमिटिव के माध्यम से, NCCLBack डेटा ट्रांसफर की दक्षता और सटीकता सुनिश्चित करता है, जिससे बड़े पैमाने के क्लस्टर में नए मॉडल तैनात करते समय, कोल्ड स्टार्ट समय नोड संख्या के साथ रैखिक रूप से नहीं बढ़ता, मूल रूप से स्थिर रहता है।
मुख्य जानकारी
- Runway प्लेटफ़ॉर्म टीम द्वारा विकसित NCCLBack सिस्टम,P2P वेट ट्रांसफर के माध्यम से मॉडल कोल्ड…
- बजाय क्लाउड स्टोरेज से बार-बार डाउनलोड करने के। यह सिस्टम GPU इंटरकनेक्ट (जैसे InfiniBand,NVLink)…
- पारंपरिक स्टोरेज डाउनलोड के 2-10 Gbps की तुलना में परिमाण के क्रम में सुधार प्राप्त करता है। Redis…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Runway:News(网页)
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: 60 गुना तेज कोल्ड स्टार्ट: समान स्तर के GPU को वेट सर्वर के रूप में मानें। 4 मई 2026। https://new.nat6.net/hi/news/cmosrd1ac00v8slplayzv4fhm/