EMO: Model campuran pakar untuk pra-latihan modular yang muncul
Tajuk asal:EMO: Pretraining mixture of experts for emergent modularity
Ringkasan AI
EMO ialah model campuran pakar baharu yang melalui pra-latihan hujung ke hujung membolehkan struktur modular muncul terus daripada data, tanpa bergantung pada andaian awal yang ditakrifkan manusia. Model ini membenarkan hanya 12.5% subset pakar digunakan dalam tugas tertentu (iaitu sebahagian daripada 8 pakar aktif), sambil mengekalkan prestasi hampir menyamai model penuh; apabila kesemua 128 pakar digunakan bersama, ia masih berfungsi sebagai model umum yang berkuasa. EMO mempunyai 1B parameter aktif dan 14B jumlah parameter, dengan data latihan mencapai 1 trilion token. Berbanding MoE standard, EMO melalui kekangan penghalaan peringkat dokumen menggalakkan pakar membentuk kumpulan pengkhususan domain, seterusnya menyokong penggunaan terpilih tanpa menyebabkan kemerosotan prestasi serius, merealisasikan seni bina boleh komposisi dan mengoptimumkan pertukaran memori-ketepatan MoE jarang berskala besar.
Maklumat penting
- EMO ialah model campuran pakar baharu yang melalui pra-latihan hujung ke hujung membolehkan…
- Model ini membenarkan hanya 12.
- 5% subset pakar digunakan dalam tugas tertentu (iaitu sebahagian daripada 8 pakar aktif),sambil…
- apabila kesemua 128 pakar digunakan bersama,ia masih berfungsi sebagai model umum yang berkuasa.
- EMO mempunyai 1B parameter aktif dan 14B jumlah parameter,dengan data latihan mencapai 1 trilion…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Pelancaran Model
- Skor AI
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: EMO: Model campuran pakar untuk pra-latihan modular yang muncul. 9 Mei 2026. https://new.nat6.net/ms/news/cmox4xh0p006lslguuhqaou8t/