Nakipagtulungan ang LMSYS at Intel para mapahusay ang performance ng visual language model service sa pamamagitan ng heterogeneous CPU+GPU EPD architecture
Orihinal na pamagat:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team
AI summary
Ang koponan ng LMSYS (Intel at SGLang) ay nag-enable ng heterogeneous encode-prefill-disaggregated (EPD) architecture para sa visual language models (VLM) sa pamamagitan ng Dynamo at SGLang frameworks. Inililipat ng solusyon na ito ang visual encoding tasks mula sa GPU patungo sa CPU (tulad ng Intel Xeon 6747P), na katuwang ng GPU. Sa pagsubok sa Qwen3-VL-8B-Instruct model, gamit ang configuration na 4 CPU + 1 GPU bilang encoder at 4 GPU bilang prefill decoder (capacity ratio R=12), sa load na ISL/OSL 128/256 at 8 larawang 1080p, nakamit ang humigit-kumulang 1.2 hanggang 1.3 beses na pagbuti sa P99 TTFT at request throughput, at nabawasan ang P99 TPOT ng humigit-kumulang 1.3 hanggang 30 beses.
Mahahalagang impormasyon
- Ang koponan ng LMSYS (Intel at SGLang) ay nag-enable ng heterogeneous encode-prefill-disaggregated…
- Inililipat ng solusyon na ito ang visual encoding tasks mula sa GPU patungo sa CPU (tulad ng Intel…
- Sa pagsubok sa Qwen3-VL-8B-Instruct model,gamit ang configuration na 4 CPU + 1 GPU bilang encoder…
- 2 hanggang 1.
- 3 beses na pagbuti sa P99 TTFT at request throughput,at nabawasan ang P99 TPOT ng humigit-kumulang…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Mga Tutorial at Tip
- AI na marka
- 61
做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Nakipagtulungan ang LMSYS at Intel para mapahusay ang performance ng visual language model service sa pamamagitan ng heterogeneous CPU+GPU EPD architecture. 29 Mayo 2026. https://new.nat6.net/fil/news/cmpvk42bo0015slfpngd3kyca/