Produk & Aplikasi

SGLang memperkenalkan Waterfill dan LPLB untuk meningkatkan penyeimbangan beban DeepEP MoE

Judul asli:Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts (MoE) models rely on Expert Parallelism (EP) to scale inference across multiple GPUs. In SGLang, DeepEP and EPLB provide high-performance serving under EP, but the workload seen by ... NVIDIA Team

Ringkasan AI

SGLang menambahkan dua metode penyeimbangan beban saat penjadwalan untuk inferensi DeepEP MoE: Waterfill menetapkan pakar bersama ke rank dengan beban lebih rendah, meningkatkan throughput total 1,48% hingga 4,66% pada beban layanan DeepSeek-V3/R1, dan pada DeepSeek V4 titik terbaik meningkat dari 49.253 tok/s menjadi 51.677 tok/s (+4,92%); LPLB mengoptimalkan perutean token salinan pakar redundan berdasarkan pemrograman linear, bersama EPLB mencapai peningkatan throughput 0,84% hingga 7,34% pada klaster yang sama.

Poin utama

  • SGLang menambahkan dua metode penyeimbangan beban saat penjadwalan untuk inferensi DeepEP MoE:…
  • 253 tok/s menjadi 51.
  • 677 tok/s (+4,92%)
  • LPLB mengoptimalkan perutean token salinan pakar redundan berdasarkan pemrograman linear,bersama…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Produk & Aplikasi
Skor AI
58
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: SGLang memperkenalkan Waterfill dan LPLB untuk meningkatkan penyeimbangan beban DeepEP MoE. 26 Juni 2026. https://new.nat6.net/id/news/cmqwtlsg0001nslp0zt3eyzhr/

Lihat semua →