Xiaohongshu dan PKU sumber terbuka UltraEP: penyelesaian pengimbangan beban optimum untuk latihan dan penaakulan MoE berskala besar
Ringkasan AI
Xiaohongshu dan Universiti Peking menyumberterbuka UltraEP, kali pertama memperkenalkan pengimbangan beban masa nyata berdasarkan maklumat penghalaan tepat ke dalam sistem pengeluaran, menduplikasi pakar popular secara dinamik pada setiap microbatch dan setiap lapisan, mencapai purata 94.3% prestasi ideal, peningkatan 1.49 kali ganda berbanding rangka kerja latihan dan penaakulan SOTA industri. Penyelesaian ini telah digunakan dalam prapelatihan penuh model MoE 288B parameter, mengekalkan tahap tidak kurang 92% prestasi ideal.
Maklumat penting
- Xiaohongshu dan Universiti Peking menyumberterbuka UltraEP,kali pertama memperkenalkan…
- 3% prestasi ideal,peningkatan 1.
- 49 kali ganda berbanding rangka kerja latihan dan penaakulan SOTA industri.
- Penyelesaian ini telah digunakan dalam prapelatihan penuh model MoE 288B parameter,mengekalkan…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Produk & Aplikasi
- Skor AI
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Xiaohongshu dan PKU sumber terbuka UltraEP: penyelesaian pengimbangan beban optimum untuk latihan dan penaakulan MoE berskala besar. 20 Julai 2026. https://new.nat6.net/ms/news/cmsdu108a00uerofzae7t96q3/