ट्यूटोरियल और टिप्स

LMSYS और Intel ने विषम CPU+GPU EPD आर्किटेक्चर से विज़न लैंग्वेज मॉडल सेवा प्रदर्शन बढ़ाया

मूल शीर्षक:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

AI सारांश

LMSYS टीम (Intel और SGLang) ने Dynamo और SGLang फ्रेमवर्क के माध्यम से विज़न लैंग्वेज मॉडल (VLM) के लिए विषम एन्कोडिंग-प्रीफिल-डिकोड (EPD) आर्किटेक्चर सक्षम किया। यह समाधान दृश्य एन्कोडिंग कार्यों को GPU से CPU (जैसे Intel Xeon 6747P) पर ऑफलोड करता है और GPU के साथ मिलकर काम करता है। Qwen3-VL-8B-Instruct मॉडल के परीक्षण में, 4 CPU + 1 GPU को एन्कोडर और 4 GPU को प्रीफिल डिकोडर (क्षमता अनुपात R=12) के रूप में उपयोग करने वाले कॉन्फ़िगरेशन ने ISL/OSL 128/256, 1080p 8 छवियों के लोड के तहत P99 TTFT और अनुरोध थ्रूपुट में लगभग 1.2 से 1.3 गुना सुधार किया, और P99 TPOT को लगभग 1.3 से 30 गुना कम किया।

मुख्य जानकारी

  • LMSYS टीम (Intel और SGLang) ने Dynamo और SGLang फ्रेमवर्क के माध्यम से विज़न लैंग्वेज मॉडल (VLM)…
  • 3 गुना सुधार किया,और P99 TPOT को लगभग 1.
  • 3 से 30 गुना कम किया।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
LMSYS Blog
श्रेणी
ट्यूटोरियल और टिप्स
AI स्कोर
61
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: LMSYS और Intel ने विषम CPU+GPU EPD आर्किटेक्चर से विज़न लैंग्वेज मॉडल सेवा प्रदर्शन बढ़ाया। 29 मई 2026। https://new.nat6.net/hi/news/cmpvk42bo0015slfpngd3kyca/

सभी देखें →