vLLM выпустила vllm-metal v0.28.0: конкурентное обслуживание инференса на Apple Silicon
Оригинальный заголовок:Announcing vllm-metal: Concurrent Serving on Apple Silicon
ИИ-резюме
vLLM официально выпустила vllm-metal v0.28.0, перенеся планировщик V1, paged KV cache и сервер, совместимый с OpenAI, на Apple Silicon; выполнение моделей обеспечивают MLX и Metal, а номер версии синхронизирован с вышестоящим vLLM.
Ключевые моменты
- vLLM официально выпустила vllm-metal v0.
- 0,перенеся планировщик V1,paged KV cache и сервер,совместимый с OpenAI,на Apple Silicon
- выполнение моделей обеспечивают MLX и Metal,а номер версии синхронизирован с вышестоящим vLLM.
Кратко
- Опубликовано
- Обновлено
- Источник
- vLLM 官方博客(RSS)
- Категория
- Продукты и приложения
- Оценка ИИ
- 74
官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: vLLM выпустила vllm-metal v0.28.0: конкурентное обслуживание инференса на Apple Silicon. 22 сентября 2026. https://new.nat6.net/ru/news/cmue9uxe20smtroghgwne9l3u/