उत्पाद और ऐप्स

vLLM ने vllm-metal v0.28.0 जारी किया: Apple Silicon पर समवर्ती अनुमान सेवा का समर्थन

मूल शीर्षक:Announcing vllm-metal: Concurrent Serving on Apple Silicon

AI सारांश

vLLM ने आधिकारिक रूप से vllm-metal v0.28.0 जारी किया, जो vLLM के V1 शेड्यूलर, paged KV cache और OpenAI-संगत सर्वर को Apple Silicon पर लाता है; मॉडल का निष्पादन MLX और Metal द्वारा होता है, और संस्करण संख्या अपस्ट्रीम vLLM के साथ संरेखित है।

मुख्य जानकारी

  • vLLM ने आधिकारिक रूप से vllm-metal v0.
  • 0 जारी किया,जो vLLM के V1 शेड्यूलर,paged KV cache और OpenAI-संगत सर्वर को Apple Silicon पर लाता है
  • मॉडल का निष्पादन MLX और Metal द्वारा होता है,और संस्करण संख्या अपस्ट्रीम vLLM के साथ संरेखित है।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
vLLM 官方博客(RSS)
श्रेणी
उत्पाद और ऐप्स
AI स्कोर
74
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: vLLM ने vllm-metal v0.28.0 जारी किया: Apple Silicon पर समवर्ती अनुमान सेवा का समर्थन। 22 सितंबर 2026। https://new.nat6.net/hi/news/cmue9uxe20smtroghgwne9l3u/

सभी देखें →