SGLang เพิ่ม Waterfill และ LPLB ปรับสมดุลโหลด DeepEP MoE
หัวข้อต้นฉบับ:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team
สรุปโดย AI
SGLang เพิ่มวิธีปรับสมดุลโหลดขณะจัดตารางสองวิธีสำหรับการอนุมาน DeepEP MoE: Waterfill กระจายผู้เชี่ยวชาญที่ใช้ร่วมกันไปยัง rank ที่โหลดต่ำกว่า ทำให้ปริมาณงานรวมเพิ่มขึ้น 1.48% ถึง 4.66% ภายใต้โหลดบริการ DeepSeek-V3/R1 และบน DeepSeek V4 จุดที่ดีที่สุดเพิ่มจาก 49,253 tok/s เป็น 51,677 tok/s (+4.92%) ส่วน LPLB ปรับเส้นทาง token ของสำเนาผู้เชี่ยวชาญซ้ำซ้อนด้วยการโปรแกรมเชิงเส้น ทำงานร่วมกับ EPLB ทำให้ปริมาณงานเพิ่มขึ้น 0.84% ถึง 7.34% บนคลัสเตอร์เดียวกัน
ข้อมูลสำคัญ
- SGLang เพิ่มวิธีปรับสมดุลโหลดขณะจัดตารางสองวิธีสำหรับการอนุมาน DeepEP MoE: Waterfill…
- 66% ภายใต้โหลดบริการ DeepSeek-V3/R1 และบน DeepSeek V4 จุดที่ดีที่สุดเพิ่มจาก 49,253 tok/s เป็น…
- 92%) ส่วน LPLB ปรับเส้นทาง token ของสำเนาผู้เชี่ยวชาญซ้ำซ้อนด้วยการโปรแกรมเชิงเส้น ทำงานร่วมกับ…
- 34% บนคลัสเตอร์เดียวกัน
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 58
SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: SGLang เพิ่ม Waterfill และ LPLB ปรับสมดุลโหลด DeepEP MoE 26 มิถุนายน 2026 https://new.nat6.net/th/news/cmqwtlsg0001nslp0zt3eyzhr/