vLLM lanza vllm-metal v0.28.0: servicio de inferencia concurrente en Apple Silicon
Título original:Announcing vllm-metal: Concurrent Serving on Apple Silicon
Resumen de IA
vLLM lanza oficialmente vllm-metal v0.28.0, que lleva el planificador V1 de vLLM, la caché KV paginada y el servidor compatible con OpenAI a Apple Silicon, con MLX y Metal ejecutando los modelos; el número de versión se alinea con el vLLM upstream.
Puntos clave
- vLLM lanza oficialmente vllm-metal v0.
- 0,que lleva el planificador V1 de vLLM,la caché KV paginada y el servidor compatible con OpenAI a…
- el número de versión se alinea con el vLLM upstream.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- vLLM 官方博客(RSS)
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 74
官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: vLLM lanza vllm-metal v0.28.0: servicio de inferencia concurrente en Apple Silicon. 22. septiembre 2026. https://new.nat6.net/es/news/cmue9uxe20smtroghgwne9l3u/