Sản phẩm & ứng dụng

vLLM phát hành vllm-metal v0.28.0: hỗ trợ phục vụ suy luận đồng thời trên Apple Silicon

Tiêu đề gốc:Announcing vllm-metal: Concurrent Serving on Apple Silicon

Tóm tắt AI

vLLM chính thức phát hành vllm-metal v0.28.0, đưa bộ lập lịch V1, paged KV cache và máy chủ tương thích OpenAI của vLLM lên Apple Silicon, với mô hình được thực thi bởi MLX và Metal, số phiên bản đồng bộ với vLLM thượng nguồn.

Thông tin chính

  • vLLM chính thức phát hành vllm-metal v0.
  • đưa bộ lập lịch V1,paged KV cache và máy chủ tương thích OpenAI của vLLM lên Apple Silicon
  • với mô hình được thực thi bởi MLX và Metal,số phiên bản đồng bộ với vLLM thượng nguồn.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
vLLM 官方博客(RSS)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
74
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: vLLM phát hành vllm-metal v0.28.0: hỗ trợ phục vụ suy luận đồng thời trên Apple Silicon. 22 tháng 9 2026. https://new.nat6.net/vi/news/cmue9uxe20smtroghgwne9l3u/

Xem tất cả →