Produk & Aplikasi

vLLM lancarkan vllm-metal v0.28.0: sokongan perkhidmatan inferens serentak pada Apple Silicon

Tajuk asal:Announcing vllm-metal: Concurrent Serving on Apple Silicon

Ringkasan AI

vLLM melancarkan secara rasmi vllm-metal v0.28.0, membawa penjadual V1 vLLM, cache KV berhalaman dan pelayan serasi OpenAI ke Apple Silicon, dengan model dilaksanakan oleh MLX dan Metal, dan nombor versi diselaraskan dengan vLLM huluan.

Maklumat penting

  • vLLM melancarkan secara rasmi vllm-metal v0.
  • membawa penjadual V1 vLLM,cache KV berhalaman dan pelayan serasi OpenAI ke Apple Silicon,dengan…
  • dan nombor versi diselaraskan dengan vLLM huluan.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
vLLM 官方博客(RSS)
Kategori
Produk & Aplikasi
Skor AI
74
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: vLLM lancarkan vllm-metal v0.28.0: sokongan perkhidmatan inferens serentak pada Apple Silicon. 22 September 2026. https://new.nat6.net/ms/news/cmue9uxe20smtroghgwne9l3u/

Lihat Semua →