LMSYS und Intel verbessern die Serving-Leistung von Vision-Language-Modellen durch heterogene CPU+GPU-EPD-Architektur
Originaltitel:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team
KI-Zusammenfassung
Das LMSYS-Team (Intel und SGLang) hat über die Frameworks Dynamo und SGLang eine heterogene Encode-Prefill-Decode-Architektur (EPD) für Vision-Language-Modelle (VLM) ermöglicht. Der Ansatz verlagert visuelle Kodierungsaufgaben von der GPU auf die CPU (z. B. Intel Xeon 6747P), die mit der GPU zusammenarbeitet. In Tests mit dem Modell Qwen3-VL-8B-Instruct erzielte die Konfiguration mit 4 CPUs + 1 GPU als Encoder und 4 GPUs als Prefill-Decoder (Kapazitätsverhältnis R=12) bei einer Last von ISL/OSL 128/256 und acht 1080p-Bildern eine Verbesserung des P99 TTFT und des Anforderungsdurchsatzes um etwa das 1,2- bis 1,3-Fache sowie eine Senkung des P99 TPOT um etwa das 1,3- bis 30-Fache.
Kernpunkte
- Das LMSYS-Team (Intel und SGLang) hat über die Frameworks Dynamo und SGLang eine heterogene…
- Der Ansatz verlagert visuelle Kodierungsaufgaben von der GPU auf die CPU (z.
- Intel Xeon 6747P),die mit der GPU zusammenarbeitet.
- In Tests mit dem Modell Qwen3-VL-8B-Instruct erzielte die Konfiguration mit 4 CPUs + 1 GPU als…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- LMSYS Blog
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 61
做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: LMSYS und Intel verbessern die Serving-Leistung von Vision-Language-Modellen durch heterogene CPU+GPU-EPD-Architektur. 29. Mai 2026. https://new.nat6.net/de/news/cmpvk42bo0015slfpngd3kyca/