Step 3.7 Flash: डेस्कटॉप-स्तरीय उपकरणों पर चलने वाला 198B विज़न मॉडल
मूल शीर्षक:A 198B vision model, running on a box that sits on a desk. This is what we built Step 3.7 Flash for....
AI सारांश
StepFun ने Step 3.7 Flash जारी किया है, जो 198B पैरामीटर वाला विज़न मॉडल है और DGX Spark जैसे डेस्कटॉप उपकरणों पर चलाने के लिए बनाया गया है। उपयोगकर्ता परीक्षणों से पता चलता है कि 128GB एकीकृत मेमोरी चलाने की सीमा है, मॉडल लगभग 104GB लेता है। तैनाती के लिए आधिकारिक विशेष llama.cpp शाखा की आवश्यकता नहीं है, मुख्य शाखा ही पर्याप्त है। संदर्भ लंबाई में समझौता है: विज़न सुविधा सक्षम होने पर q8 KV cache के आधार पर 64K अधिकतम है; यदि अधिकतम 256K संदर्भ उपयोग करना हो, तो विज़न अक्षम करना और q4 KV cache पर स्विच करना होगा, तब मॉडल और cache मिलकर लगभग 114GB मेमोरी लेते हैं। यह मॉडल तर्क मॉडल है, सोचने की प्रक्रिया बहुत अधिक max_tokens खर्च कर सकती है, इसलिए सेटिंग पर ध्यान देना आवश्यक है।
मुख्य जानकारी
- StepFun ने Step 3.
- 7 Flash जारी किया है,जो 198B पैरामीटर वाला विज़न मॉडल है और DGX Spark जैसे डेस्कटॉप उपकरणों पर…
- cpp शाखा की आवश्यकता नहीं है,मुख्य शाखा ही पर्याप्त है। संदर्भ लंबाई में समझौता है: विज़न सुविधा…
- यदि अधिकतम 256K संदर्भ उपयोग करना हो,तो विज़न अक्षम करना और q4 KV cache पर स्विच करना होगा,तब मॉडल…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 80
把 198B 的视觉模型塞进一台桌面盒子,还跑通了,这本身就是个小里程碑。更关键的是,这篇实战直接帮你绕开了三个大坑,省下的三小时够你喝杯咖啡慢慢试了。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Step 3.7 Flash: डेस्कटॉप-स्तरीय उपकरणों पर चलने वाला 198B विज़न मॉडल। 31 मई 2026। https://new.nat6.net/hi/news/cmptg4k4t09zzsluzw0x9fbxd/