EMO: Model campuran pakar untuk pra-pelatihan modularitas yang muncul
Judul asli:EMO: Pretraining mixture of experts for emergent modularity
Ringkasan AI
EMO adalah model campuran pakar baru yang melalui pra-pelatihan end-to-end memungkinkan struktur modular muncul langsung dari data, tanpa bergantung pada prior yang ditentukan manusia. Model ini memungkinkan penggunaan hanya 12,5% subset pakar (yakni sebagian dari 8 pakar aktif) pada tugas tertentu sambil mempertahankan performa mendekati model penuh; ketika seluruh 128 pakar digunakan bersama, model tetap menjadi model umum yang kuat. EMO memiliki 1B parameter aktif dan 14B parameter total, dengan data pelatihan mencapai 1 triliun token. Dibandingkan MoE standar, EMO melalui pembatasan routing tingkat dokumen mendorong pakar membentuk kelompok spesialisasi domain, sehingga mendukung penggunaan selektif tanpa penurunan performa yang parah, mewujudkan arsitektur yang dapat dikomposisi dan mengoptimalkan trade-off memori-akurasi MoE sparse berskala besar.
Poin utama
- EMO adalah model campuran pakar baru yang melalui pra-pelatihan end-to-end memungkinkan struktur…
- Model ini memungkinkan penggunaan hanya 12,5% subset pakar (yakni sebagian dari 8 pakar aktif)…
- ketika seluruh 128 pakar digunakan bersama,model tetap menjadi model umum yang kuat.
- EMO memiliki 1B parameter aktif dan 14B parameter total,dengan data pelatihan mencapai 1 triliun…
- Dibandingkan MoE standar,EMO melalui pembatasan routing tingkat dokumen mendorong pakar membentuk…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Rilis Model
- Skor AI
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: EMO: Model campuran pakar untuk pra-pelatihan modularitas yang muncul. 9 Mei 2026. https://new.nat6.net/id/news/cmox4xh0p006lslguuhqaou8t/