NVIDIA DGX Spark पर GPT-OSS का अनुकूलन: स्थानीय बड़े भाषा मॉडल तैनाती को साकार करना
मूल शीर्षक:Tech Blog Optimizing GPT-OSS on NVIDIA DGX Spark: Getting the Most Out of Your Spark We’ve got some exciting updates about the NVIDIA DGX Spark\! In the week following the official launch, we collaborated closely with NVIDIA and successfully brought GPT-OSS 20B and GPT-OSS 120B suppor... Jerry Zhou November 3, 2025
AI सारांश
NVIDIA के सहयोग से, DGX Spark पर SGLang के माध्यम से GPT-OSS 20B और 120B मॉडल का सफलतापूर्वक समर्थन किया गया, 20B संस्करण में लगभग 70 tokens/s और 120B संस्करण में लगभग 50 tokens/s की जनरेशन गति प्राप्त हुई, जो वर्तमान में सर्वोत्तम स्तर है। उपयोगकर्ता Docker के माध्यम से SGLang सेवा तैनात कर सकते हैं, Open WebUI से जोड़कर स्थानीय चैट कर सकते हैं, या LMRouter से अनुरोध प्रारूप बदलकर Claude Code को पूरी तरह स्थानीय रूप से चला सकते हैं। यह समाधान DGX Spark पर कई सौ अरब पैरामीटर वाले स्थानीय कोडिंग एआई एजेंट की तैनाती को वास्तविकता बनाता है।
मुख्य जानकारी
- NVIDIA के सहयोग से,DGX Spark पर SGLang के माध्यम से GPT-OSS 20B और 120B मॉडल का सफलतापूर्वक समर्थन…
- जो वर्तमान में सर्वोत्तम स्तर है। उपयोगकर्ता Docker के माध्यम से SGLang सेवा तैनात कर सकते हैं
- Open WebUI से जोड़कर स्थानीय चैट कर सकते हैं,या LMRouter से अनुरोध प्रारूप बदलकर Claude Code को…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- LMSYS Blog
- श्रेणी
- अन्य
DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: NVIDIA DGX Spark पर GPT-OSS का अनुकूलन: स्थानीय बड़े भाषा मॉडल तैनाती को साकार करना। 3 नवंबर 2025। https://new.nat6.net/hi/news/cmnxbjke50071sln0fe680fef/