Tutoriales y consejos

LMSYS e Intel mejoran el rendimiento de servicio de modelos de visión y lenguaje con una arquitectura EPD heterogénea de CPU+GPU

Título original:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

Resumen de IA

El equipo de LMSYS (Intel y SGLang) habilitó, mediante los marcos Dynamo y SGLang, una arquitectura heterogénea de codificación-prefijado-desacoplamiento (EPD) para modelos de visión y lenguaje (VLM). La solución descarga las tareas de codificación visual de la GPU a la CPU (por ejemplo, Intel Xeon 6747P), que trabaja junto con la GPU. En pruebas con el modelo Qwen3-VL-8B-Instruct, una configuración de 4 CPU + 1 GPU como codificador y 4 GPU como prefijado-decodificador (relación de capacidad R=12), con una carga de ISL/OSL 128/256 y 8 imágenes en 1080p, logró mejoras de aproximadamente 1,2 a 1,3 veces en P99 TTFT y rendimiento de solicitudes, y redujo el P99 TPOT entre 1,3 y 30 veces.

Puntos clave

  • El equipo de LMSYS (Intel y SGLang) habilitó,mediante los marcos Dynamo y SGLang,una arquitectura…
  • La solución descarga las tareas de codificación visual de la GPU a la CPU (por ejemplo,Intel Xeon…
  • En pruebas con el modelo Qwen3-VL-8B-Instruct,una configuración de 4 CPU + 1 GPU como codificador…

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Tutoriales y consejos
Puntuación IA
61
Leer el original Leer el artículo completo en la fuente original
Por qué importa

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: LMSYS e Intel mejoran el rendimiento de servicio de modelos de visión y lenguaje con una arquitectura EPD heterogénea de CPU+GPU. 29. mayo 2026. https://new.nat6.net/es/news/cmpvk42bo0015slfpngd3kyca/

Ver todo →