チュートリアル

LMSYSとIntelが異種CPU+GPU EPDアーキテクチャで視覚言語モデルサービング性能を向上

原題:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

AI 要約

LMSYSチーム(IntelとSGLang)はDynamoとSGLangフレームワークを通じて、視覚言語モデル(VLM)向けに異種エンコード・プリフィル・デコード(EPD)アーキテクチャを実現した。この方式は視覚エンコードタスクをGPUからCPU(Intel Xeon 6747Pなど)へオフロードし、GPUと協調動作させる。Qwen3-VL-8B-Instructモデルのテストで、4 CPU + 1 GPUをエンコーダー、4 GPUをプリフィルデコーダー(能力比R=12)とする構成により、ISL/OSL 128/256、1080p 8枚画像の負荷下で、P99 TTFTとリクエストスループットが約1.2倍から1.3倍向上し、P99 TPOTを約1.3倍から30倍削減した。

要点

  • LMSYSチーム(IntelとSGLang)はDynamoとSGLangフレームワークを通じて、視覚言語モデル(VLM)向けに異種エンコード・プリフィル・デコード(EPD)アーキテクチャを実現した。
  • この方式は視覚エンコードタスクをGPUからCPU(Intel Xeon 6747Pなど)へオフロードし、GPUと協調動作させる。
  • Qwen3-VL-8B-Instructモデルのテストで、4 CPU + 1 GPUをエンコーダー、4 GPUをプリフィルデコーダー(能力比R=12)とする構成により、ISL/OSL 128/256…
  • 3倍向上し、P99 TPOTを約1.
  • 3倍から30倍削減した

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
チュートリアル
AI スコア
61
原文を読む 情報源で全文を読む
おすすめの理由

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:LMSYSとIntelが異種CPU+GPU EPDアーキテクチャで視覚言語モデルサービング性能を向上。2026年5月29日。https://new.nat6.net/ja/news/cmpvk42bo0015slfpngd3kyca/

すべて見る →