SGLang memperkenalkan Waterfill dan LPLB untuk meningkatkan penyeimbangan beban DeepEP MoE
Judul asli:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team
Ringkasan AI
SGLang menambahkan dua metode penyeimbangan beban saat penjadwalan untuk inferensi DeepEP MoE: Waterfill menetapkan pakar bersama ke rank dengan beban lebih rendah, meningkatkan throughput total 1,48% hingga 4,66% pada beban layanan DeepSeek-V3/R1, dan pada DeepSeek V4 titik terbaik meningkat dari 49.253 tok/s menjadi 51.677 tok/s (+4,92%); LPLB mengoptimalkan perutean token salinan pakar redundan berdasarkan pemrograman linear, bersama EPLB mencapai peningkatan throughput 0,84% hingga 7,34% pada klaster yang sama.
Poin utama
- SGLang menambahkan dua metode penyeimbangan beban saat penjadwalan untuk inferensi DeepEP MoE:…
- 253 tok/s menjadi 51.
- 677 tok/s (+4,92%)
- LPLB mengoptimalkan perutean token salinan pakar redundan berdasarkan pemrograman linear,bersama…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- LMSYS Blog
- Kategori
- Produk & Aplikasi
- Skor AI
- 58
SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: SGLang memperkenalkan Waterfill dan LPLB untuk meningkatkan penyeimbangan beban DeepEP MoE. 26 Juni 2026. https://new.nat6.net/id/news/cmqwtlsg0001nslp0zt3eyzhr/