vLLM merilis vllm-metal v0.28.0: mendukung layanan inferensi bersamaan di Apple Silicon
Judul asli:Announcing vllm-metal: Concurrent Serving on Apple Silicon
Ringkasan AI
vLLM secara resmi merilis vllm-metal v0.28.0, menghadirkan penjadwal V1 vLLM, paged KV cache, dan server kompatibel OpenAI ke Apple Silicon, dengan model dieksekusi oleh MLX dan Metal; nomor versi diselaraskan dengan vLLM upstream.
Poin utama
- vLLM secara resmi merilis vllm-metal v0.
- 0,menghadirkan penjadwal V1 vLLM,paged KV cache,dan server kompatibel OpenAI ke Apple…
- nomor versi diselaraskan dengan vLLM upstream.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- vLLM 官方博客(RSS)
- Kategori
- Produk & Aplikasi
- Skor AI
- 74
官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: vLLM merilis vllm-metal v0.28.0: mendukung layanan inferensi bersamaan di Apple Silicon. 22 September 2026. https://new.nat6.net/id/news/cmue9uxe20smtroghgwne9l3u/