Tutorials & Tipps

LMSYS und Intel verbessern die Serving-Leistung von Vision-Language-Modellen durch heterogene CPU+GPU-EPD-Architektur

Originaltitel:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

KI-Zusammenfassung

Das LMSYS-Team (Intel und SGLang) hat über die Frameworks Dynamo und SGLang eine heterogene Encode-Prefill-Decode-Architektur (EPD) für Vision-Language-Modelle (VLM) ermöglicht. Der Ansatz verlagert visuelle Kodierungsaufgaben von der GPU auf die CPU (z. B. Intel Xeon 6747P), die mit der GPU zusammenarbeitet. In Tests mit dem Modell Qwen3-VL-8B-Instruct erzielte die Konfiguration mit 4 CPUs + 1 GPU als Encoder und 4 GPUs als Prefill-Decoder (Kapazitätsverhältnis R=12) bei einer Last von ISL/OSL 128/256 und acht 1080p-Bildern eine Verbesserung des P99 TTFT und des Anforderungsdurchsatzes um etwa das 1,2- bis 1,3-Fache sowie eine Senkung des P99 TPOT um etwa das 1,3- bis 30-Fache.

Kernpunkte

  • Das LMSYS-Team (Intel und SGLang) hat über die Frameworks Dynamo und SGLang eine heterogene…
  • Der Ansatz verlagert visuelle Kodierungsaufgaben von der GPU auf die CPU (z.
  • Intel Xeon 6747P),die mit der GPU zusammenarbeitet.
  • In Tests mit dem Modell Qwen3-VL-8B-Instruct erzielte die Konfiguration mit 4 CPUs + 1 GPU als…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Tutorials & Tipps
KI-Bewertung
61
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: LMSYS und Intel verbessern die Serving-Leistung von Vision-Language-Modellen durch heterogene CPU+GPU-EPD-Architektur. 29. Mai 2026. https://new.nat6.net/de/news/cmpvk42bo0015slfpngd3kyca/

Alle ansehen →