ผลิตภัณฑ์และแอป

SGLang เพิ่ม Waterfill และ LPLB ปรับสมดุลโหลด DeepEP MoE

หัวข้อต้นฉบับ:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team

สรุปโดย AI

SGLang เพิ่มวิธีปรับสมดุลโหลดขณะจัดตารางสองวิธีสำหรับการอนุมาน DeepEP MoE: Waterfill กระจายผู้เชี่ยวชาญที่ใช้ร่วมกันไปยัง rank ที่โหลดต่ำกว่า ทำให้ปริมาณงานรวมเพิ่มขึ้น 1.48% ถึง 4.66% ภายใต้โหลดบริการ DeepSeek-V3/R1 และบน DeepSeek V4 จุดที่ดีที่สุดเพิ่มจาก 49,253 tok/s เป็น 51,677 tok/s (+4.92%) ส่วน LPLB ปรับเส้นทาง token ของสำเนาผู้เชี่ยวชาญซ้ำซ้อนด้วยการโปรแกรมเชิงเส้น ทำงานร่วมกับ EPLB ทำให้ปริมาณงานเพิ่มขึ้น 0.84% ถึง 7.34% บนคลัสเตอร์เดียวกัน

ข้อมูลสำคัญ

  • SGLang เพิ่มวิธีปรับสมดุลโหลดขณะจัดตารางสองวิธีสำหรับการอนุมาน DeepEP MoE: Waterfill…
  • 66% ภายใต้โหลดบริการ DeepSeek-V3/R1 และบน DeepSeek V4 จุดที่ดีที่สุดเพิ่มจาก 49,253 tok/s เป็น…
  • 92%) ส่วน LPLB ปรับเส้นทาง token ของสำเนาผู้เชี่ยวชาญซ้ำซ้อนด้วยการโปรแกรมเชิงเส้น ทำงานร่วมกับ…
  • 34% บนคลัสเตอร์เดียวกัน

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
LMSYS Blog
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
58
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: SGLang เพิ่ม Waterfill และ LPLB ปรับสมดุลโหลด DeepEP MoE 26 มิถุนายน 2026 https://new.nat6.net/th/news/cmqwtlsg0001nslp0zt3eyzhr/

ดูทั้งหมด →