LMSYS dan Intel Tingkatkan Kinerja Layanan Model Visual-Language melalui Arsitektur EPD CPU+GPU Heterogen
Judul asli:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team
Ringkasan AI
Tim LMSYS (Intel dan SGLang) melalui framework Dynamo dan SGLang mengaktifkan arsitektur encoding-prefill-disaggregation (EPD) heterogen untuk model visual-language (VLM). Solusi ini mengalihkan tugas encoding visual dari GPU ke CPU (seperti Intel Xeon 6747P) yang bekerja bersama GPU. Dalam pengujian model Qwen3-VL-8B-Instruct dengan konfigurasi 4 CPU + 1 GPU sebagai encoder dan 4 GPU sebagai prefill-decoder (rasio kapasitas R=12), pada beban ISL/OSL 128/256 dengan 8 gambar 1080p, solusi ini mencapai peningkatan P99 TTFT dan throughput permintaan sekitar 1,2 hingga 1,3 kali, serta menurunkan P99 TPOT sekitar 1,3 hingga 30 kali.
Poin utama
- Tim LMSYS (Intel dan SGLang) melalui framework Dynamo dan SGLang mengaktifkan arsitektur…
- Solusi ini mengalihkan tugas encoding visual dari GPU ke CPU (seperti Intel Xeon 6747P) yang…
- Dalam pengujian model Qwen3-VL-8B-Instruct dengan konfigurasi 4 CPU + 1 GPU sebagai encoder dan 4…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- LMSYS Blog
- Kategori
- Tutorial & Tips
- Skor AI
- 61
做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: LMSYS dan Intel Tingkatkan Kinerja Layanan Model Visual-Language melalui Arsitektur EPD CPU+GPU Heterogen. 29 Mei 2026. https://new.nat6.net/id/news/cmpvk42bo0015slfpngd3kyca/