Inilabas ng vLLM ang vllm-metal v0.28.0: sumusuporta sa concurrent inference service sa Apple Silicon
Orihinal na pamagat:Announcing vllm-metal: Concurrent Serving on Apple Silicon
AI summary
Opisyal na inilabas ng vLLM ang vllm-metal v0.28.0, na nagdadala ng V1 scheduler, paged KV cache at OpenAI-compatible server ng vLLM sa Apple Silicon, kung saan ang MLX at Metal ang nagpapatupad ng modelo, at naka-align ang version number sa upstream na vLLM.
Mahahalagang impormasyon
- Opisyal na inilabas ng vLLM ang vllm-metal v0.
- na nagdadala ng V1 scheduler,paged KV cache at OpenAI-compatible server ng vLLM sa Apple…
- at naka-align ang version number sa upstream na vLLM.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- vLLM 官方博客(RSS)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 74
官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng vLLM ang vllm-metal v0.28.0: sumusuporta sa concurrent inference service sa Apple Silicon. 22 Setyembre 2026. https://new.nat6.net/fil/news/cmue9uxe20smtroghgwne9l3u/