Туториалы и советы

LMSYS и Intel повышают производительность обслуживания визуально-языковых моделей через гетерогенную архитектуру CPU+GPU EPD

Оригинальный заголовок:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

ИИ-резюме

Команда LMSYS (Intel и SGLang) через фреймворки Dynamo и SGLang включила гетерогенную архитектуру кодирования-префилла-развязки (EPD) для визуально-языковых моделей (VLM). Решение переносит задачи визуального кодирования с GPU на CPU (например, Intel Xeon 6747P), работающие совместно с GPU. В тестах модели Qwen3-VL-8B-Instruct конфигурация с 4 CPU + 1 GPU в качестве кодировщика и 4 GPU в качестве префилл-декодера (соотношение возможностей R=12) при нагрузке ISL/OSL 128/256 и 8 изображениях 1080p обеспечила рост P99 TTFT и пропускной способности запросов примерно в 1,2–1,3 раза и снижение P99 TPOT примерно в 1,3–30 раз.

Ключевые моменты

  • Команда LMSYS (Intel и SGLang) через фреймворки Dynamo и SGLang включила гетерогенную архитектуру…
  • Решение переносит задачи визуального кодирования с GPU на CPU (например,Intel Xeon…
  • В тестах модели Qwen3-VL-8B-Instruct конфигурация с 4 CPU + 1 GPU в качестве кодировщика и 4 GPU в…

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Туториалы и советы
Оценка ИИ
61
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: LMSYS и Intel повышают производительность обслуживания визуально-языковых моделей через гетерогенную архитектуру CPU+GPU EPD. 29 мая 2026. https://new.nat6.net/ru/news/cmpvk42bo0015slfpngd3kyca/

Смотреть все →