Produk & Aplikasi

vLLM merilis vllm-metal v0.28.0: mendukung layanan inferensi bersamaan di Apple Silicon

Judul asli:Announcing vllm-metal: Concurrent Serving on Apple Silicon

Ringkasan AI

vLLM secara resmi merilis vllm-metal v0.28.0, menghadirkan penjadwal V1 vLLM, paged KV cache, dan server kompatibel OpenAI ke Apple Silicon, dengan model dieksekusi oleh MLX dan Metal; nomor versi diselaraskan dengan vLLM upstream.

Poin utama

  • vLLM secara resmi merilis vllm-metal v0.
  • 0,menghadirkan penjadwal V1 vLLM,paged KV cache,dan server kompatibel OpenAI ke Apple…
  • nomor versi diselaraskan dengan vLLM upstream.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
vLLM 官方博客(RSS)
Kategori
Produk & Aplikasi
Skor AI
74
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: vLLM merilis vllm-metal v0.28.0: mendukung layanan inferensi bersamaan di Apple Silicon. 22 September 2026. https://new.nat6.net/id/news/cmue9uxe20smtroghgwne9l3u/

Lihat semua →