Produits et applications

vLLM publie vllm-metal v0.28.0 : service d'inférence concurrent sur Apple Silicon

Titre original:Announcing vllm-metal: Concurrent Serving on Apple Silicon

Résumé IA

vLLM publie officiellement vllm-metal v0.28.0, qui apporte le planificateur V1, le paged KV cache et le serveur compatible OpenAI de vLLM sur Apple Silicon, avec exécution des modèles par MLX et Metal et un numéro de version aligné sur le vLLM amont.

Points clés

  • vLLM publie officiellement vllm-metal v0.
  • qui apporte le planificateur V1,le paged KV cache et le serveur compatible OpenAI de vLLM sur…
  • avec exécution des modèles par MLX et Metal et un numéro de version aligné sur le vLLM amont.

En bref

Publié
Mis à jour
Source
vLLM 官方博客(RSS)
Catégorie
Produits et applications
Score IA
74
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : vLLM publie vllm-metal v0.28.0 : service d'inférence concurrent sur Apple Silicon. 22. septembre 2026. https://new.nat6.net/fr/news/cmue9uxe20smtroghgwne9l3u/

Tout voir →