vLLM veröffentlicht vllm-metal v0.28.0: Parallele Inferenzdienste auf Apple Silicon
Originaltitel:Announcing vllm-metal: Concurrent Serving on Apple Silicon
KI-Zusammenfassung
vLLM veröffentlicht offiziell vllm-metal v0.28.0 und bringt den V1-Scheduler, den paged KV cache und den OpenAI-kompatiblen Server von vLLM auf Apple Silicon; die Modellausführung erfolgt über MLX und Metal, die Versionsnummer ist an das Upstream-vLLM angeglichen.
Kernpunkte
- vLLM veröffentlicht offiziell vllm-metal v0.
- 0 und bringt den V1-Scheduler,den paged KV cache und den OpenAI-kompatiblen Server von vLLM auf…
- die Modellausführung erfolgt über MLX und Metal,die Versionsnummer ist an das Upstream-vLLM…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- vLLM 官方博客(RSS)
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 74
官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: vLLM veröffentlicht vllm-metal v0.28.0: Parallele Inferenzdienste auf Apple Silicon. 22. September 2026. https://new.nat6.net/de/news/cmue9uxe20smtroghgwne9l3u/