Xiaohongshu dan Universitas Peking merilis UltraEP sebagai sumber terbuka: solusi penyeimbangan beban real-time untuk pelatihan dan inferensi MoE skala besar
Judul asli:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案
Ringkasan AI
Xiaohongshu dan Universitas Peking mengusulkan UltraEP, yang pertama kali memperkenalkan penyeimbangan beban real-time berbasis informasi routing akurat ke sistem produksi, dengan menduplikasi pakar populer secara dinamis pada setiap microbatch dan setiap lapisan. Pada model seperti Qwen3-235B, throughput pelatihan rata-rata mencapai 94,6% dari performa ideal, meningkat 42% dibanding Megatron-LM; throughput prefill inferensi meningkat 1,56 kali dibanding SGLang.
Poin utama
- Xiaohongshu dan Universitas Peking mengusulkan UltraEP,yang pertama kali memperkenalkan…
- Pada model seperti Qwen3-235B,throughput pelatihan rata-rata mencapai 94,6% dari performa…
- throughput prefill inferensi meningkat 1,56 kali dibanding SGLang.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Produk & Aplikasi
- Skor AI
- 68
MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Xiaohongshu dan Universitas Peking merilis UltraEP sebagai sumber terbuka: solusi penyeimbangan beban real-time untuk pelatihan dan inferensi MoE skala besar. 20 Juli 2026. https://new.nat6.net/id/news/cmrsy2z9e03wpbitlqgh25fol/