EMO: Mixture-of-Experts-Modell für emergentes modulares Pretraining
Originaltitel:EMO: Pretraining mixture of experts for emergent modularity
KI-Zusammenfassung
EMO ist ein neuartiges Mixture-of-Experts-Modell, bei dem sich eine modulare Struktur durch End-to-End-Pretraining direkt aus den Daten ergibt, ohne auf von Menschen definierte Vorannahmen angewiesen zu sein. Das Modell erlaubt es, bei bestimmten Aufgaben nur 12,5 % der Experten (also einen Teil der 8 aktiven Experten) zu nutzen und dabei nahezu die Leistung des Gesamtmodells zu halten; werden alle 128 Experten gemeinsam verwendet, bleibt es ein leistungsfähiges Allzweckmodell. EMO hat 1B aktive Parameter und 14B Gesamtparameter und wurde mit 1 Billion Tokens trainiert. Im Vergleich zu Standard-MoE fördert EMO durch Routing-Beschränkungen auf Dokumentebene die Bildung fachlich spezialisierter Expertengruppen, sodass eine selektive Nutzung ohne gravierende Leistungseinbußen möglich ist. Damit realisiert es eine komponierbare Architektur und optimiert den Kompromiss zwischen Speicher und Genauigkeit großer sparse MoE.
Kernpunkte
- EMO ist ein neuartiges Mixture-of-Experts-Modell,bei dem sich eine modulare Struktur durch…
- Das Modell erlaubt es,bei bestimmten Aufgaben nur 12,5 % der Experten (also einen Teil der 8…
- werden alle 128 Experten gemeinsam verwendet,bleibt es ein leistungsfähiges Allzweckmodell.
- EMO hat 1B aktive Parameter und 14B Gesamtparameter und wurde mit 1 Billion Tokens trainiert.
- Im Vergleich zu Standard-MoE fördert EMO durch Routing-Beschränkungen auf Dokumentebene die…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: EMO: Mixture-of-Experts-Modell für emergentes modulares Pretraining. 9. Mai 2026. https://new.nat6.net/de/news/cmox4xh0p006lslguuhqaou8t/