LMSYS e Intel mejoran el rendimiento de servicio de modelos de visión y lenguaje con una arquitectura EPD heterogénea de CPU+GPU
Título original:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team
Resumen de IA
El equipo de LMSYS (Intel y SGLang) habilitó, mediante los marcos Dynamo y SGLang, una arquitectura heterogénea de codificación-prefijado-desacoplamiento (EPD) para modelos de visión y lenguaje (VLM). La solución descarga las tareas de codificación visual de la GPU a la CPU (por ejemplo, Intel Xeon 6747P), que trabaja junto con la GPU. En pruebas con el modelo Qwen3-VL-8B-Instruct, una configuración de 4 CPU + 1 GPU como codificador y 4 GPU como prefijado-decodificador (relación de capacidad R=12), con una carga de ISL/OSL 128/256 y 8 imágenes en 1080p, logró mejoras de aproximadamente 1,2 a 1,3 veces en P99 TTFT y rendimiento de solicitudes, y redujo el P99 TPOT entre 1,3 y 30 veces.
Puntos clave
- El equipo de LMSYS (Intel y SGLang) habilitó,mediante los marcos Dynamo y SGLang,una arquitectura…
- La solución descarga las tareas de codificación visual de la GPU a la CPU (por ejemplo,Intel Xeon…
- En pruebas con el modelo Qwen3-VL-8B-Instruct,una configuración de 4 CPU + 1 GPU como codificador…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 61
做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: LMSYS e Intel mejoran el rendimiento de servicio de modelos de visión y lenguaje con una arquitectura EPD heterogénea de CPU+GPU. 29. mayo 2026. https://new.nat6.net/es/news/cmpvk42bo0015slfpngd3kyca/