Продукты и приложения

vLLM выпустила vllm-metal v0.28.0: конкурентное обслуживание инференса на Apple Silicon

Оригинальный заголовок:Announcing vllm-metal: Concurrent Serving on Apple Silicon

ИИ-резюме

vLLM официально выпустила vllm-metal v0.28.0, перенеся планировщик V1, paged KV cache и сервер, совместимый с OpenAI, на Apple Silicon; выполнение моделей обеспечивают MLX и Metal, а номер версии синхронизирован с вышестоящим vLLM.

Ключевые моменты

  • vLLM официально выпустила vllm-metal v0.
  • 0,перенеся планировщик V1,paged KV cache и сервер,совместимый с OpenAI,на Apple Silicon
  • выполнение моделей обеспечивают MLX и Metal,а номер версии синхронизирован с вышестоящим vLLM.

Кратко

Опубликовано
Обновлено
Источник
vLLM 官方博客(RSS)
Категория
Продукты и приложения
Оценка ИИ
74
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: vLLM выпустила vllm-metal v0.28.0: конкурентное обслуживание инференса на Apple Silicon. 22 сентября 2026. https://new.nat6.net/ru/news/cmue9uxe20smtroghgwne9l3u/

Смотреть все →