Produk & Aplikasi

Xiaohongshu dan Peking University membuka sumber terbuka UltraEP: solusi penyeimbangan beban optimal untuk pelatihan dan penalaran MoE skala besar

Ringkasan AI

Xiaohongshu dan Universitas Peking membuka sumber terbuka UltraEP, yang untuk pertama kalinya memperkenalkan penyeimbangan beban real-time berbasis informasi routing presisi ke sistem produksi, dengan menduplikasi pakar populer secara dinamis pada setiap microbatch dan setiap lapisan, mencapai rata-rata 94,3% dari kinerja ideal dan meningkatkan 1,49 kali dibanding kerangka pelatihan dan penalaran SOTA industri. Solusi ini telah diterapkan dalam pra-pelatihan lengkap model MoE 288B parameter dan mempertahankan tingkat tidak kurang dari 92% kinerja ideal.

Poin utama

  • Xiaohongshu dan Universitas Peking membuka sumber terbuka UltraEP,yang untuk pertama kalinya…
  • mencapai rata-rata 94,3% dari kinerja ideal dan meningkatkan 1,49 kali dibanding kerangka…
  • Solusi ini telah diterapkan dalam pra-pelatihan lengkap model MoE 288B parameter dan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:小红书技术(dots.llm)
Kategori
Produk & Aplikasi
Skor AI
76
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Xiaohongshu dan Peking University membuka sumber terbuka UltraEP: solusi penyeimbangan beban optimal untuk pelatihan dan penalaran MoE skala besar. 20 Juli 2026. https://new.nat6.net/id/news/cmsdu108a00uerofzae7t96q3/

Lihat semua →