Productos y aplicaciones

vLLM lanza vllm-metal v0.28.0: servicio de inferencia concurrente en Apple Silicon

Título original:Announcing vllm-metal: Concurrent Serving on Apple Silicon

Resumen de IA

vLLM lanza oficialmente vllm-metal v0.28.0, que lleva el planificador V1 de vLLM, la caché KV paginada y el servidor compatible con OpenAI a Apple Silicon, con MLX y Metal ejecutando los modelos; el número de versión se alinea con el vLLM upstream.

Puntos clave

  • vLLM lanza oficialmente vllm-metal v0.
  • 0,que lleva el planificador V1 de vLLM,la caché KV paginada y el servidor compatible con OpenAI a…
  • el número de versión se alinea con el vLLM upstream.

Resumen rápido

Publicado
Actualizado
Fuente
vLLM 官方博客(RSS)
Categoría
Productos y aplicaciones
Puntuación IA
74
Leer el original Leer el artículo completo en la fuente original
Por qué importa

官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: vLLM lanza vllm-metal v0.28.0: servicio de inferencia concurrente en Apple Silicon. 22. septiembre 2026. https://new.nat6.net/es/news/cmue9uxe20smtroghgwne9l3u/

Ver todo →