vLLM publie vllm-metal v0.28.0 : service d'inférence concurrent sur Apple Silicon
Titre original:Announcing vllm-metal: Concurrent Serving on Apple Silicon
Résumé IA
vLLM publie officiellement vllm-metal v0.28.0, qui apporte le planificateur V1, le paged KV cache et le serveur compatible OpenAI de vLLM sur Apple Silicon, avec exécution des modèles par MLX et Metal et un numéro de version aligné sur le vLLM amont.
Points clés
- vLLM publie officiellement vllm-metal v0.
- qui apporte le planificateur V1,le paged KV cache et le serveur compatible OpenAI de vLLM sur…
- avec exécution des modèles par MLX et Metal et un numéro de version aligné sur le vLLM amont.
En bref
- Publié
- Mis à jour
- Source
- vLLM 官方博客(RSS)
- Catégorie
- Produits et applications
- Score IA
- 74
官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : vLLM publie vllm-metal v0.28.0 : service d'inférence concurrent sur Apple Silicon. 22. septembre 2026. https://new.nat6.net/fr/news/cmue9uxe20smtroghgwne9l3u/