SGLang ने SSD Expert Pack से उपभोक्ता हार्डवेयर पर DeepSeek-V4-Flash और Kimi-K3 चलाए
मूल शीर्षक:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team
AI सारांश
SGLang ने SSD-LLaMA के विचार को MoE अनुमान में पेश किया, जिसमें VRAM और मेमोरी में न फिट होने वाले राउटेड एक्सपर्ट्स को NVMe SSD पर रखा गया, Expert Pack के निरंतर लेआउट, O_DIRECT सीधे I/O और बजट वाले GPU LFU/LRU कैश के ज़रिए केवल राउटर द्वारा चुने गए एक्सपर्ट्स को लोड किया गया।
मुख्य जानकारी
- SGLang ने SSD-LLaMA के विचार को MoE अनुमान में पेश किया
- जिसमें VRAM और मेमोरी में न फिट होने वाले राउटेड एक्सपर्ट्स को NVMe SSD पर रखा गया
- Expert Pack के निरंतर लेआउट,O_DIRECT सीधे I/O और बजट वाले GPU LFU/LRU कैश के ज़रिए केवल राउटर…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- LMSYS Blog
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 66
原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: SGLang ने SSD Expert Pack से उपभोक्ता हार्डवेयर पर DeepSeek-V4-Flash और Kimi-K3 चलाए। 29 अगस्त 2026। https://new.nat6.net/hi/news/cmu79ssfu0z2irowkbdofbmeq/