LMSYS bekerjasama dengan Intel tingkatkan prestasi perkhidmatan model bahasa visual melalui seni bina EPD CPU+GPU heterogen
Tajuk asal:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team
Ringkasan AI
Pasukan LMSYS (Intel dan SGLang) melalui rangka kerja Dynamo dan SGLang, membolehkan seni bina pengekodan-prapengisian-pemisahan (EPD) heterogen untuk model bahasa visual (VLM). Penyelesaian ini memindahkan tugas pengekodan visual daripada GPU ke CPU (seperti Intel Xeon 6747P), bekerjasama dengan GPU. Dalam ujian model Qwen3-VL-8B-Instruct, konfigurasi 4 CPU + 1 GPU sebagai pengekod, 4 GPU sebagai penyahkod prapengisian (nisbah keupayaan R=12), di bawah beban ISL/OSL 128/256, 8 imej 1080p, mencapai peningkatan kira-kira 1.2 hingga 1.3 kali ganda dalam P99 TTFT dan throughput permintaan, serta mengurangkan P99 TPOT kira-kira 1.3 hingga 30 kali ganda.
Maklumat penting
- Pasukan LMSYS (Intel dan SGLang) melalui rangka kerja Dynamo dan SGLang,membolehkan seni bina…
- Penyelesaian ini memindahkan tugas pengekodan visual daripada GPU ke CPU (seperti Intel Xeon…
- Dalam ujian model Qwen3-VL-8B-Instruct,konfigurasi 4 CPU + 1 GPU sebagai pengekod,4 GPU sebagai…
- 2 hingga 1.
- 3 kali ganda dalam P99 TTFT dan throughput permintaan,serta mengurangkan P99 TPOT kira-kira 1.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Tutorial dan petua
- Skor AI
- 61
做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: LMSYS bekerjasama dengan Intel tingkatkan prestasi perkhidmatan model bahasa visual melalui seni bina EPD CPU+GPU heterogen. 29 Mei 2026. https://new.nat6.net/ms/news/cmpvk42bo0015slfpngd3kyca/