Ant Bailing ने SGLang के लिए वेट कैश डेमन पेश किया
मूल शीर्षक:Today, we’re introducing the Weight Cache Daemon for SGLang. 🚀 On Ling-2.6-1T FP8, it reduced weigh...
AI सारांश
आज हमने SGLang के लिए Weight Cache Daemon पेश किया। 🚀 Ling-2.6-1T FP8 पर, यह वेट लोडिंग समय को लगभग 0.63 सेकंड तक कम करता है, जो डिस्क से लोडिंग की तुलना में लगभग 780 गुना तेज़ है, और इंजन का कुल स्टार्टअप समय 8.8 मिनट से घटाकर लगभग 0.53 मिनट कर देता है। यह इस प्रकार काम करता है।
मुख्य जानकारी
- आज हमने SGLang के लिए Weight Cache Daemon पेश किया। 🚀 Ling-2.
- 6-1T FP8 पर,यह वेट लोडिंग समय को लगभग 0.
- 63 सेकंड तक कम करता है,जो डिस्क से लोडिंग की तुलना में लगभग 780 गुना तेज़ है,और इंजन का कुल…
- 8 मिनट से घटाकर लगभग 0.
- 53 मिनट कर देता है। यह इस प्रकार काम करता है।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- X:蚂蚁百灵 (@AntLingAGI)
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 53
把权重加载从磁盘瓶颈改为缓存复用,对需要频繁扩缩容或重启推理服务的团队,启动耗时从分钟级降到秒级可能改变运维节奏。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Ant Bailing ने SGLang के लिए वेट कैश डेमन पेश किया। 22 अगस्त 2026। https://new.nat6.net/hi/news/cmt3wt4qm13utro6t0hb6ga3y/