LMSYS hợp tác Intel nâng cao hiệu năng phục vụ mô hình thị giác-ngôn ngữ qua kiến trúc EPD CPU+GPU không đồng nhất
Tiêu đề gốc:Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL;DR We enabled heterogeneous Encode-Prefill-Decode (EPD) disaggregation via Dynamo and SGLang for Vision-Language Models (VLMs). By offloading vision encoding tasks to CPUs (the easiest-getting CPU... Intel & SGLang Team
Tóm tắt AI
Nhóm LMSYS (Intel và SGLang) thông qua các khung Dynamo và SGLang đã kích hoạt kiến trúc mã hóa-prefill-giải mã tách rời (EPD) không đồng nhất cho mô hình thị giác-ngôn ngữ (VLM). Giải pháp này chuyển tác vụ mã hóa thị giác từ GPU sang CPU (như Intel Xeon 6747P), phối hợp với GPU. Trong thử nghiệm với mô hình Qwen3-VL-8B-Instruct, cấu hình sử dụng 4 CPU + 1 GPU làm bộ mã hóa, 4 GPU làm bộ giải mã prefill (tỷ lệ năng lực R=12), dưới tải ISL/OSL 128/256 với 8 hình ảnh 1080p, đạt mức cải thiện P99 TTFT và thông lượng yêu cầu khoảng 1,2 đến 1,3 lần, đồng thời giảm P99 TPOT khoảng 1,3 đến 30 lần.
Thông tin chính
- Nhóm LMSYS (Intel và SGLang) thông qua các khung Dynamo và SGLang đã kích hoạt kiến trúc mã…
- Giải pháp này chuyển tác vụ mã hóa thị giác từ GPU sang CPU (như Intel Xeon 6747P),phối hợp với GPU.
- Trong thử nghiệm với mô hình Qwen3-VL-8B-Instruct,cấu hình sử dụng 4 CPU + 1 GPU làm bộ mã hóa,4…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- LMSYS Blog
- Danh mục
- Hướng dẫn & mẹo
- Điểm AI
- 61
做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: LMSYS hợp tác Intel nâng cao hiệu năng phục vụ mô hình thị giác-ngôn ngữ qua kiến trúc EPD CPU+GPU không đồng nhất. 29 tháng 5 2026. https://new.nat6.net/vi/news/cmpvk42bo0015slfpngd3kyca/