Xiaohongshu dan Peking University membuka sumber terbuka UltraEP: solusi penyeimbangan beban optimal untuk pelatihan dan penalaran MoE skala besar
Ringkasan AI
Xiaohongshu dan Universitas Peking membuka sumber terbuka UltraEP, yang untuk pertama kalinya memperkenalkan penyeimbangan beban real-time berbasis informasi routing presisi ke sistem produksi, dengan menduplikasi pakar populer secara dinamis pada setiap microbatch dan setiap lapisan, mencapai rata-rata 94,3% dari kinerja ideal dan meningkatkan 1,49 kali dibanding kerangka pelatihan dan penalaran SOTA industri. Solusi ini telah diterapkan dalam pra-pelatihan lengkap model MoE 288B parameter dan mempertahankan tingkat tidak kurang dari 92% kinerja ideal.
Poin utama
- Xiaohongshu dan Universitas Peking membuka sumber terbuka UltraEP,yang untuk pertama kalinya…
- mencapai rata-rata 94,3% dari kinerja ideal dan meningkatkan 1,49 kali dibanding kerangka…
- Solusi ini telah diterapkan dalam pra-pelatihan lengkap model MoE 288B parameter dan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Produk & Aplikasi
- Skor AI
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Xiaohongshu dan Peking University membuka sumber terbuka UltraEP: solusi penyeimbangan beban optimal untuk pelatihan dan penalaran MoE skala besar. 20 Juli 2026. https://new.nat6.net/id/news/cmsdu108a00uerofzae7t96q3/