Pelancaran Model

EMO: Model campuran pakar untuk pra-latihan modular yang muncul

Tajuk asal:EMO: Pretraining mixture of experts for emergent modularity

Ringkasan AI

EMO ialah model campuran pakar baharu yang melalui pra-latihan hujung ke hujung membolehkan struktur modular muncul terus daripada data, tanpa bergantung pada andaian awal yang ditakrifkan manusia. Model ini membenarkan hanya 12.5% subset pakar digunakan dalam tugas tertentu (iaitu sebahagian daripada 8 pakar aktif), sambil mengekalkan prestasi hampir menyamai model penuh; apabila kesemua 128 pakar digunakan bersama, ia masih berfungsi sebagai model umum yang berkuasa. EMO mempunyai 1B parameter aktif dan 14B jumlah parameter, dengan data latihan mencapai 1 trilion token. Berbanding MoE standard, EMO melalui kekangan penghalaan peringkat dokumen menggalakkan pakar membentuk kumpulan pengkhususan domain, seterusnya menyokong penggunaan terpilih tanpa menyebabkan kemerosotan prestasi serius, merealisasikan seni bina boleh komposisi dan mengoptimumkan pertukaran memori-ketepatan MoE jarang berskala besar.

Maklumat penting

  • EMO ialah model campuran pakar baharu yang melalui pra-latihan hujung ke hujung membolehkan…
  • Model ini membenarkan hanya 12.
  • 5% subset pakar digunakan dalam tugas tertentu (iaitu sebahagian daripada 8 pakar aktif),sambil…
  • apabila kesemua 128 pakar digunakan bersama,ia masih berfungsi sebagai model umum yang berkuasa.
  • EMO mempunyai 1B parameter aktif dan 14B jumlah parameter,dengan data latihan mencapai 1 trilion…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Pelancaran Model
Skor AI
72
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: EMO: Model campuran pakar untuk pra-latihan modular yang muncul. 9 Mei 2026. https://new.nat6.net/ms/news/cmox4xh0p006lslguuhqaou8t/

Lihat Semua →