Sản phẩm & ứng dụng

SGLang giới thiệu Waterfill và LPLB nâng cao cân bằng tải DeepEP MoE

Tiêu đề gốc:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team

Tóm tắt AI

SGLang bổ sung hai phương pháp cân bằng tải khi lập lịch cho suy luận DeepEP MoE: Waterfill phân bổ chuyên gia chia sẻ cho rank tải thấp hơn, dưới tải dịch vụ DeepSeek-V3/R1 giúp tổng thông lượng tăng 1,48% đến 4,66%, trên DeepSeek V4 điểm tốt nhất từ 49.253 tok/s lên 51.677 tok/s (+4,92%); LPLB tối ưu định tuyến token của bản sao chuyên gia dư thừa dựa trên quy hoạch tuyến tính, kết hợp EPLB đạt thông lượng tăng 0,84% đến 7,34% trên cùng cụm.

Thông tin chính

  • SGLang bổ sung hai phương pháp cân bằng tải khi lập lịch cho suy luận DeepEP MoE: Waterfill phân…
  • 253 tok/s lên 51.
  • 677 tok/s (+4,92%)
  • LPLB tối ưu định tuyến token của bản sao chuyên gia dư thừa dựa trên quy hoạch tuyến tính,kết hợp…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Sản phẩm & ứng dụng
Điểm AI
58
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: SGLang giới thiệu Waterfill và LPLB nâng cao cân bằng tải DeepEP MoE. 26 tháng 6 2026. https://new.nat6.net/vi/news/cmqwtlsg0001nslp0zt3eyzhr/

Xem tất cả →