LMSYSとIntelが異種CPU+GPU EPDアーキテクチャで視覚言語モデルサービング性能を向上
原題:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team
AI 要約
LMSYSチーム(IntelとSGLang)はDynamoとSGLangフレームワークを通じて、視覚言語モデル(VLM)向けに異種エンコード・プリフィル・デコード(EPD)アーキテクチャを実現した。この方式は視覚エンコードタスクをGPUからCPU(Intel Xeon 6747Pなど)へオフロードし、GPUと協調動作させる。Qwen3-VL-8B-Instructモデルのテストで、4 CPU + 1 GPUをエンコーダー、4 GPUをプリフィルデコーダー(能力比R=12)とする構成により、ISL/OSL 128/256、1080p 8枚画像の負荷下で、P99 TTFTとリクエストスループットが約1.2倍から1.3倍向上し、P99 TPOTを約1.3倍から30倍削減した。
要点
- LMSYSチーム(IntelとSGLang)はDynamoとSGLangフレームワークを通じて、視覚言語モデル(VLM)向けに異種エンコード・プリフィル・デコード(EPD)アーキテクチャを実現した。
- この方式は視覚エンコードタスクをGPUからCPU(Intel Xeon 6747Pなど)へオフロードし、GPUと協調動作させる。
- Qwen3-VL-8B-Instructモデルのテストで、4 CPU + 1 GPUをエンコーダー、4 GPUをプリフィルデコーダー(能力比R=12)とする構成により、ISL/OSL 128/256…
- 3倍向上し、P99 TPOTを約1.
- 3倍から30倍削減した
概要
- 公開日時
- 更新日時
- 出典
- LMSYS Blog
- カテゴリ
- チュートリアル
- AI スコア
- 61
做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:LMSYSとIntelが異種CPU+GPU EPDアーキテクチャで視覚言語モデルサービング性能を向上。2026年5月29日。https://new.nat6.net/ja/news/cmpvk42bo0015slfpngd3kyca/