Tutorial & Tips

LMSYS dan Intel Tingkatkan Kinerja Layanan Model Visual-Language melalui Arsitektur EPD CPU+GPU Heterogen

Judul asli:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

Ringkasan AI

Tim LMSYS (Intel dan SGLang) melalui framework Dynamo dan SGLang mengaktifkan arsitektur encoding-prefill-disaggregation (EPD) heterogen untuk model visual-language (VLM). Solusi ini mengalihkan tugas encoding visual dari GPU ke CPU (seperti Intel Xeon 6747P) yang bekerja bersama GPU. Dalam pengujian model Qwen3-VL-8B-Instruct dengan konfigurasi 4 CPU + 1 GPU sebagai encoder dan 4 GPU sebagai prefill-decoder (rasio kapasitas R=12), pada beban ISL/OSL 128/256 dengan 8 gambar 1080p, solusi ini mencapai peningkatan P99 TTFT dan throughput permintaan sekitar 1,2 hingga 1,3 kali, serta menurunkan P99 TPOT sekitar 1,3 hingga 30 kali.

Poin utama

  • Tim LMSYS (Intel dan SGLang) melalui framework Dynamo dan SGLang mengaktifkan arsitektur…
  • Solusi ini mengalihkan tugas encoding visual dari GPU ke CPU (seperti Intel Xeon 6747P) yang…
  • Dalam pengujian model Qwen3-VL-8B-Instruct dengan konfigurasi 4 CPU + 1 GPU sebagai encoder dan 4…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Tutorial & Tips
Skor AI
61
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: LMSYS dan Intel Tingkatkan Kinerja Layanan Model Visual-Language melalui Arsitektur EPD CPU+GPU Heterogen. 29 Mei 2026. https://new.nat6.net/id/news/cmpvk42bo0015slfpngd3kyca/

Lihat semua →