Tutorial dan petua

LMSYS bekerjasama dengan Intel tingkatkan prestasi perkhidmatan model bahasa visual melalui seni bina EPD CPU+GPU heterogen

Tajuk asal:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

Ringkasan AI

Pasukan LMSYS (Intel dan SGLang) melalui rangka kerja Dynamo dan SGLang, membolehkan seni bina pengekodan-prapengisian-pemisahan (EPD) heterogen untuk model bahasa visual (VLM). Penyelesaian ini memindahkan tugas pengekodan visual daripada GPU ke CPU (seperti Intel Xeon 6747P), bekerjasama dengan GPU. Dalam ujian model Qwen3-VL-8B-Instruct, konfigurasi 4 CPU + 1 GPU sebagai pengekod, 4 GPU sebagai penyahkod prapengisian (nisbah keupayaan R=12), di bawah beban ISL/OSL 128/256, 8 imej 1080p, mencapai peningkatan kira-kira 1.2 hingga 1.3 kali ganda dalam P99 TTFT dan throughput permintaan, serta mengurangkan P99 TPOT kira-kira 1.3 hingga 30 kali ganda.

Maklumat penting

  • Pasukan LMSYS (Intel dan SGLang) melalui rangka kerja Dynamo dan SGLang,membolehkan seni bina…
  • Penyelesaian ini memindahkan tugas pengekodan visual daripada GPU ke CPU (seperti Intel Xeon…
  • Dalam ujian model Qwen3-VL-8B-Instruct,konfigurasi 4 CPU + 1 GPU sebagai pengekod,4 GPU sebagai…
  • 2 hingga 1.
  • 3 kali ganda dalam P99 TTFT dan throughput permintaan,serta mengurangkan P99 TPOT kira-kira 1.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
LMSYS Blog
Kategori
Tutorial dan petua
Skor AI
61
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: LMSYS bekerjasama dengan Intel tingkatkan prestasi perkhidmatan model bahasa visual melalui seni bina EPD CPU+GPU heterogen. 29 Mei 2026. https://new.nat6.net/ms/news/cmpvk42bo0015slfpngd3kyca/

Lihat Semua →