LMSYS и Intel повышают производительность обслуживания визуально-языковых моделей через гетерогенную архитектуру CPU+GPU EPD
Оригинальный заголовок:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team
ИИ-резюме
Команда LMSYS (Intel и SGLang) через фреймворки Dynamo и SGLang включила гетерогенную архитектуру кодирования-префилла-развязки (EPD) для визуально-языковых моделей (VLM). Решение переносит задачи визуального кодирования с GPU на CPU (например, Intel Xeon 6747P), работающие совместно с GPU. В тестах модели Qwen3-VL-8B-Instruct конфигурация с 4 CPU + 1 GPU в качестве кодировщика и 4 GPU в качестве префилл-декодера (соотношение возможностей R=12) при нагрузке ISL/OSL 128/256 и 8 изображениях 1080p обеспечила рост P99 TTFT и пропускной способности запросов примерно в 1,2–1,3 раза и снижение P99 TPOT примерно в 1,3–30 раз.
Ключевые моменты
- Команда LMSYS (Intel и SGLang) через фреймворки Dynamo и SGLang включила гетерогенную архитектуру…
- Решение переносит задачи визуального кодирования с GPU на CPU (например,Intel Xeon…
- В тестах модели Qwen3-VL-8B-Instruct конфигурация с 4 CPU + 1 GPU в качестве кодировщика и 4 GPU в…
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Туториалы и советы
- Оценка ИИ
- 61
做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: LMSYS и Intel повышают производительность обслуживания визуально-языковых моделей через гетерогенную архитектуру CPU+GPU EPD. 29 мая 2026. https://new.nat6.net/ru/news/cmpvk42bo0015slfpngd3kyca/