Paglabas ng modelo

EMO: Mixture-of-Experts model para sa emergent modular pretraining

Orihinal na pamagat:EMO: Pretraining mixture of experts for emergent modularity

AI summary

Ang EMO ay isang bagong mixture-of-experts model na nagpapahintulot sa modular structure na direktang umusbong mula sa data sa pamamagitan ng end-to-end pretraining, nang hindi umaasa sa human-defined priors. Pinapayagan ng model na ito ang paggamit lamang ng 12.5% expert subset sa partikular na tasks (bahagi ng 8 active experts) habang pinapanatili ang performance na malapit sa full model; kapag ginamit nang sabay ang lahat ng 128 experts, nananatili itong malakas na general model. Ang EMO ay may 1B active parameters at 14B total parameters, na sinanay sa 1 trilyong tokens. Kumpara sa standard MoE, sa pamamagitan ng document-level routing constraints, hinihikayat ng EMO ang mga expert na bumuo ng domain-specialized groups, na sumusuporta sa selective use nang hindi nagdudulot ng malubhang performance degradation, na nagbibigay-daan sa composable architecture at nag-o-optimize ng memory-accuracy trade-off ng malalaking sparse MoE.

Mahahalagang impormasyon

  • Ang EMO ay isang bagong mixture-of-experts model na nagpapahintulot sa modular structure na…
  • Pinapayagan ng model na ito ang paggamit lamang ng 12.
  • 5% expert subset sa partikular na tasks (bahagi ng 8 active experts) habang pinapanatili ang…
  • kapag ginamit nang sabay ang lahat ng 128 experts,nananatili itong malakas na general model.
  • Ang EMO ay may 1B active parameters at 14B total parameters,na sinanay sa 1 trilyong tokens.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Paglabas ng modelo
AI na marka
72
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: EMO: Mixture-of-Experts model para sa emergent modular pretraining. 9 Mayo 2026. https://new.nat6.net/fil/news/cmox4xh0p006lslguuhqaou8t/

Tingnan lahat →