Produk & Aplikasi

Xiaohongshu dan Universitas Peking merilis UltraEP sebagai sumber terbuka: solusi penyeimbangan beban real-time untuk pelatihan dan inferensi MoE skala besar

Judul asli:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

Ringkasan AI

Xiaohongshu dan Universitas Peking mengusulkan UltraEP, yang pertama kali memperkenalkan penyeimbangan beban real-time berbasis informasi routing akurat ke sistem produksi, dengan menduplikasi pakar populer secara dinamis pada setiap microbatch dan setiap lapisan. Pada model seperti Qwen3-235B, throughput pelatihan rata-rata mencapai 94,6% dari performa ideal, meningkat 42% dibanding Megatron-LM; throughput prefill inferensi meningkat 1,56 kali dibanding SGLang.

Poin utama

  • Xiaohongshu dan Universitas Peking mengusulkan UltraEP,yang pertama kali memperkenalkan…
  • Pada model seperti Qwen3-235B,throughput pelatihan rata-rata mencapai 94,6% dari performa…
  • throughput prefill inferensi meningkat 1,56 kali dibanding SGLang.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:小红书技术(dots.llm)
Kategori
Produk & Aplikasi
Skor AI
68
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Xiaohongshu dan Universitas Peking merilis UltraEP sebagai sumber terbuka: solusi penyeimbangan beban real-time untuk pelatihan dan inferensi MoE skala besar. 20 Juli 2026. https://new.nat6.net/id/news/cmrsy2z9e03wpbitlqgh25fol/

Lihat semua →