Mga produkto at aplikasyon

Inilabas ng vLLM ang vllm-metal v0.28.0: sumusuporta sa concurrent inference service sa Apple Silicon

Orihinal na pamagat:Announcing vllm-metal: Concurrent Serving on Apple Silicon

AI summary

Opisyal na inilabas ng vLLM ang vllm-metal v0.28.0, na nagdadala ng V1 scheduler, paged KV cache at OpenAI-compatible server ng vLLM sa Apple Silicon, kung saan ang MLX at Metal ang nagpapatupad ng modelo, at naka-align ang version number sa upstream na vLLM.

Mahahalagang impormasyon

  • Opisyal na inilabas ng vLLM ang vllm-metal v0.
  • na nagdadala ng V1 scheduler,paged KV cache at OpenAI-compatible server ng vLLM sa Apple…
  • at naka-align ang version number sa upstream na vLLM.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
vLLM 官方博客(RSS)
Kategorya
Mga produkto at aplikasyon
AI na marka
74
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ng vLLM ang vllm-metal v0.28.0: sumusuporta sa concurrent inference service sa Apple Silicon. 22 Setyembre 2026. https://new.nat6.net/fil/news/cmue9uxe20smtroghgwne9l3u/

Tingnan lahat →