บทแนะนำและเทคนิค

LMSYS ร่วมมือ Intel ยกระดับประสิทธิภาพบริการโมเดลภาพและภาษาผ่านสถาปัตยกรรม EPD แบบ CPU+GPU ต่างชนิด

หัวข้อต้นฉบับ:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team

สรุปโดย AI

ทีม LMSYS (Intel และ SGLang) เปิดใช้สถาปัตยกรรม Encode-Prefill-Decode (EPD) แบบต่างชนิดสำหรับโมเดลภาพและภาษา (VLM) ผ่านเฟรมเวิร์ก Dynamo และ SGLang โดยย้ายงานเข้ารหัสภาพจาก GPU ไปยัง CPU (เช่น Intel Xeon 6747P) ให้ทำงานร่วมกับ GPU ในการทดสอบกับโมเดล Qwen3-VL-8B-Instruct ด้วยการตั้งค่า 4 CPU + 1 GPU เป็นตัวเข้ารหัส และ 4 GPU เป็นตัวถอดรหัสพรีฟิล (ความสามารถเทียบ R=12) ภายใต้โหลด ISL/OSL 128/256 ภาพ 1080p จำนวน 8 ภาพ ให้ P99 TTFT และทรูพุตคำขอดีขึ้นราว 1.2 ถึง 1.3 เท่า และลด P99 TPOT ลงราว 1.3 ถึง 30 เท่า

ข้อมูลสำคัญ

  • ทีม LMSYS (Intel และ SGLang) เปิดใช้สถาปัตยกรรม Encode-Prefill-Decode (EPD)…
  • 3 เท่า และลด P99 TPOT ลงราว 1.
  • 3 ถึง 30 เท่า

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
LMSYS Blog
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
61
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: LMSYS ร่วมมือ Intel ยกระดับประสิทธิภาพบริการโมเดลภาพและภาษาผ่านสถาปัตยกรรม EPD แบบ CPU+GPU ต่างชนิด 29 พฤษภาคม 2026 https://new.nat6.net/th/news/cmpvk42bo0015slfpngd3kyca/

ดูทั้งหมด →