EMO: Mixture-of-Experts model para sa emergent modular pretraining
Orihinal na pamagat:EMO: Pretraining mixture of experts for emergent modularity
AI summary
Ang EMO ay isang bagong mixture-of-experts model na nagpapahintulot sa modular structure na direktang umusbong mula sa data sa pamamagitan ng end-to-end pretraining, nang hindi umaasa sa human-defined priors. Pinapayagan ng model na ito ang paggamit lamang ng 12.5% expert subset sa partikular na tasks (bahagi ng 8 active experts) habang pinapanatili ang performance na malapit sa full model; kapag ginamit nang sabay ang lahat ng 128 experts, nananatili itong malakas na general model. Ang EMO ay may 1B active parameters at 14B total parameters, na sinanay sa 1 trilyong tokens. Kumpara sa standard MoE, sa pamamagitan ng document-level routing constraints, hinihikayat ng EMO ang mga expert na bumuo ng domain-specialized groups, na sumusuporta sa selective use nang hindi nagdudulot ng malubhang performance degradation, na nagbibigay-daan sa composable architecture at nag-o-optimize ng memory-accuracy trade-off ng malalaking sparse MoE.
Mahahalagang impormasyon
- Ang EMO ay isang bagong mixture-of-experts model na nagpapahintulot sa modular structure na…
- Pinapayagan ng model na ito ang paggamit lamang ng 12.
- 5% expert subset sa partikular na tasks (bahagi ng 8 active experts) habang pinapanatili ang…
- kapag ginamit nang sabay ang lahat ng 128 experts,nananatili itong malakas na general model.
- Ang EMO ay may 1B active parameters at 14B total parameters,na sinanay sa 1 trilyong tokens.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Hugging Face 社区博客(混合发现)
- Kategorya
- Paglabas ng modelo
- AI na marka
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: EMO: Mixture-of-Experts model para sa emergent modular pretraining. 9 Mayo 2026. https://new.nat6.net/fil/news/cmox4xh0p006lslguuhqaou8t/