vLLM lancarkan vllm-metal v0.28.0: sokongan perkhidmatan inferens serentak pada Apple Silicon
Tajuk asal:Announcing vllm-metal: Concurrent Serving on Apple Silicon
Ringkasan AI
vLLM melancarkan secara rasmi vllm-metal v0.28.0, membawa penjadual V1 vLLM, cache KV berhalaman dan pelayan serasi OpenAI ke Apple Silicon, dengan model dilaksanakan oleh MLX dan Metal, dan nombor versi diselaraskan dengan vLLM huluan.
Maklumat penting
- vLLM melancarkan secara rasmi vllm-metal v0.
- membawa penjadual V1 vLLM,cache KV berhalaman dan pelayan serasi OpenAI ke Apple Silicon,dengan…
- dan nombor versi diselaraskan dengan vLLM huluan.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- vLLM 官方博客(RSS)
- Kategori
- Produk & Aplikasi
- Skor AI
- 74
官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: vLLM lancarkan vllm-metal v0.28.0: sokongan perkhidmatan inferens serentak pada Apple Silicon. 22 September 2026. https://new.nat6.net/ms/news/cmue9uxe20smtroghgwne9l3u/