SGLang perkenal Waterfill dan LPLB tingkatkan pengimbangan beban DeepEP MoE
Tajuk asal:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team
Ringkasan AI
SGLang menambah dua kaedah pengimbangan beban semasa penjadualan untuk inferens DeepEP MoE: Waterfill mengagihkan pakar kongsi kepada rank yang lebih rendah beban, meningkatkan daya pemprosesan keseluruhan 1.48% hingga 4.66% di bawah beban perkhidmatan DeepSeek-V3/R1, dan pada DeepSeek V4 titik terbaik meningkat daripada 49,253 tok/s kepada 51,677 tok/s (+4.92%); LPLB mengoptimumkan penghalaan token salinan pakar berlebihan berdasarkan pengaturcaraan linear, bersama EPLB mencapai peningkatan daya pemprosesan 0.84% hingga 7.34% pada kelompok yang sama.
Maklumat penting
- SGLang menambah dua kaedah pengimbangan beban semasa penjadualan untuk inferens DeepEP MoE:…
- 48% hingga 4.
- 66% di bawah beban perkhidmatan DeepSeek-V3/R1,dan pada DeepSeek V4 titik terbaik meningkat…
- LPLB mengoptimumkan penghalaan token salinan pakar berlebihan berdasarkan pengaturcaraan…
- 84% hingga 7.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Produk & Aplikasi
- Skor AI
- 58
SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: SGLang perkenal Waterfill dan LPLB tingkatkan pengimbangan beban DeepEP MoE. 26 Jun 2026. https://new.nat6.net/ms/news/cmqwtlsg0001nslp0zt3eyzhr/