Xiaohongshu dan Universiti Peking membuka UltraEP sebagai sumber terbuka: penyelesaian pengimbangan beban masa nyata untuk latihan dan inferens MoE berskala besar
Tajuk asal:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案
Ringkasan AI
Xiaohongshu dan Universiti Peking mencadangkan UltraEP, yang pertama memperkenalkan pengimbangan beban masa nyata berdasarkan maklumat penghalaan tepat ke dalam sistem pengeluaran, menyalin pakar hotspot secara dinamik dalam setiap microbatch dan setiap lapisan. Pada model seperti Qwen3-235B, daya pemprosesan latihan mencapai purata 94.6% daripada prestasi ideal, peningkatan 42% berbanding Megatron-LM; daya pemprosesan prefill inferens meningkat 1.56 kali berbanding SGLang.
Maklumat penting
- Xiaohongshu dan Universiti Peking mencadangkan UltraEP,yang pertama memperkenalkan pengimbangan…
- Pada model seperti Qwen3-235B,daya pemprosesan latihan mencapai purata 94.
- 6% daripada prestasi ideal,peningkatan 42% berbanding Megatron-LM
- daya pemprosesan prefill inferens meningkat 1.
- 56 kali berbanding SGLang.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Produk & Aplikasi
- Skor AI
- 68
MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Xiaohongshu dan Universiti Peking membuka UltraEP sebagai sumber terbuka: penyelesaian pengimbangan beban masa nyata untuk latihan dan inferens MoE berskala besar. 20 Julai 2026. https://new.nat6.net/ms/news/cmrsy2z9e03wpbitlqgh25fol/