अन्य

llama.cpp सर्वर में बहु-मॉडल प्रबंधन सुविधा जोड़ी गई

मूल शीर्षक:New in llama.cpp: Model Management

AI सारांश

llama.cpp सर्वर में Ollama जैसी बहु-मॉडल प्रबंधन सुविधा जोड़ी गई है। यह सुविधा बहु-प्रक्रिया आर्किटेक्चर अपनाती है, जिसमें प्रत्येक मॉडल स्वतंत्र रूप से चलता है, जिससे एक मॉडल के क्रैश होने पर अन्य सेवाएं प्रभावित नहीं होतीं। सिस्टम स्थानीय GGUF मॉडल फ़ाइलों की स्वतः खोज, मांग पर लोडिंग का समर्थन करता है और डिफ़ॉल्ट रूप से LRU तंत्र से अधिकतम 4 मॉडल एक साथ लोड करने का प्रबंधन करता है। उपयोगकर्ता अनुरोध के मॉडल फ़ील्ड से विशिष्ट मॉडल तक रूटिंग कर सकते हैं और API से लोड, अनलोड तथा सूची देख सकते हैं। सभी लोड किए गए मॉडल राउटर की एकीकृत सेटिंग्स विरासत में ले सकते हैं और प्रीसेट फ़ाइलों से प्रत्येक मॉडल के लिए अलग पैरामीटर भी कॉन्फ़िगर किए जा सकते हैं। अंतर्निहित Web UI भी मॉडल स्विचिंग का समर्थन करता है।

मुख्य जानकारी

  • cpp सर्वर में Ollama जैसी बहु-मॉडल प्रबंधन सुविधा जोड़ी गई है। यह सुविधा बहु-प्रक्रिया आर्किटेक्चर…
  • मांग पर लोडिंग का समर्थन करता है और डिफ़ॉल्ट रूप से LRU तंत्र से अधिकतम 4 मॉडल एक साथ लोड करने का…
  • अनलोड तथा सूची देख सकते हैं। सभी लोड किए गए मॉडल राउटर की एकीकृत सेटिंग्स विरासत में ले सकते हैं…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Hugging Face 社区博客(混合发现)
श्रेणी
अन्य
AI स्कोर
76
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: llama.cpp सर्वर में बहु-मॉडल प्रबंधन सुविधा जोड़ी गई। 11 दिसंबर 2025। https://new.nat6.net/hi/news/cmoegbhak00a4slxx4drrrsd4/

सभी देखें →