Produk & Aplikasi

Xiaohongshu dan Universiti Peking membuka UltraEP sebagai sumber terbuka: penyelesaian pengimbangan beban masa nyata untuk latihan dan inferens MoE berskala besar

Tajuk asal:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

Ringkasan AI

Xiaohongshu dan Universiti Peking mencadangkan UltraEP, yang pertama memperkenalkan pengimbangan beban masa nyata berdasarkan maklumat penghalaan tepat ke dalam sistem pengeluaran, menyalin pakar hotspot secara dinamik dalam setiap microbatch dan setiap lapisan. Pada model seperti Qwen3-235B, daya pemprosesan latihan mencapai purata 94.6% daripada prestasi ideal, peningkatan 42% berbanding Megatron-LM; daya pemprosesan prefill inferens meningkat 1.56 kali berbanding SGLang.

Maklumat penting

  • Xiaohongshu dan Universiti Peking mencadangkan UltraEP,yang pertama memperkenalkan pengimbangan…
  • Pada model seperti Qwen3-235B,daya pemprosesan latihan mencapai purata 94.
  • 6% daripada prestasi ideal,peningkatan 42% berbanding Megatron-LM
  • daya pemprosesan prefill inferens meningkat 1.
  • 56 kali berbanding SGLang.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
公众号:小红书技术(dots.llm)
Kategori
Produk & Aplikasi
Skor AI
68
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Xiaohongshu dan Universiti Peking membuka UltraEP sebagai sumber terbuka: penyelesaian pengimbangan beban masa nyata untuk latihan dan inferens MoE berskala besar. 20 Julai 2026. https://new.nat6.net/ms/news/cmrsy2z9e03wpbitlqgh25fol/

Lihat Semua →