Tutoriels et astuces

LMSYS et Intel améliorent les performances de service des modèles vision-langage via une architecture EPD hétérogène CPU+GPU

Titre original:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

Résumé IA

L'équipe LMSYS (Intel et SGLang) a activé, via les frameworks Dynamo et SGLang, une architecture hétérogène encodeur-préremplissage-découplage (EPD) pour les modèles vision-langage (VLM). Cette approche décharge les tâches d'encodage visuel du GPU vers le CPU (par exemple Intel Xeon 6747P), en coordination avec le GPU. Sur le modèle Qwen3-VL-8B-Instruct, avec une configuration de 4 CPU + 1 GPU comme encodeur et 4 GPU comme décodeur de préremplissage (ratio de capacité R=12), sous une charge ISL/OSL 128/256 et 8 images en 1080p, elle obtient environ 1,2 à 1,3 fois d'amélioration du P99 TTFT et du débit de requêtes, et réduit le P99 TPOT d'environ 1,3 à 30 fois.

Points clés

  • L'équipe LMSYS (Intel et SGLang) a activé,via les frameworks Dynamo et SGLang,une architecture…
  • Cette approche décharge les tâches d'encodage visuel du GPU vers le CPU (par exemple Intel Xeon…
  • Sur le modèle Qwen3-VL-8B-Instruct,avec une configuration de 4 CPU + 1 GPU comme encodeur et 4 GPU…

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Tutoriels et astuces
Score IA
61
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : LMSYS et Intel améliorent les performances de service des modèles vision-langage via une architecture EPD hétérogène CPU+GPU. 29. mai 2026. https://new.nat6.net/fr/news/cmpvk42bo0015slfpngd3kyca/

Tout voir →