Produk & Aplikasi

SGLang perkenal Waterfill dan LPLB tingkatkan pengimbangan beban DeepEP MoE

Tajuk asal:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team

Ringkasan AI

SGLang menambah dua kaedah pengimbangan beban semasa penjadualan untuk inferens DeepEP MoE: Waterfill mengagihkan pakar kongsi kepada rank yang lebih rendah beban, meningkatkan daya pemprosesan keseluruhan 1.48% hingga 4.66% di bawah beban perkhidmatan DeepSeek-V3/R1, dan pada DeepSeek V4 titik terbaik meningkat daripada 49,253 tok/s kepada 51,677 tok/s (+4.92%); LPLB mengoptimumkan penghalaan token salinan pakar berlebihan berdasarkan pengaturcaraan linear, bersama EPLB mencapai peningkatan daya pemprosesan 0.84% hingga 7.34% pada kelompok yang sama.

Maklumat penting

  • SGLang menambah dua kaedah pengimbangan beban semasa penjadualan untuk inferens DeepEP MoE:…
  • 48% hingga 4.
  • 66% di bawah beban perkhidmatan DeepSeek-V3/R1,dan pada DeepSeek V4 titik terbaik meningkat…
  • LPLB mengoptimumkan penghalaan token salinan pakar berlebihan berdasarkan pengaturcaraan…
  • 84% hingga 7.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
LMSYS Blog
Kategori
Produk & Aplikasi
Skor AI
58
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: SGLang perkenal Waterfill dan LPLB tingkatkan pengimbangan beban DeepEP MoE. 26 Jun 2026. https://new.nat6.net/ms/news/cmqwtlsg0001nslp0zt3eyzhr/

Lihat Semua →