EMO: смесь экспертов для предобучения с эмерджентной модульностью
Оригинальный заголовок:EMO: Pretraining mixture of experts for emergent modularity
ИИ-резюме
EMO — новая модель смеси экспертов, в которой модульная структура возникает непосредственно из данных в ходе сквозного предобучения без опоры на заданные человеком априорные представления. Модель позволяет использовать в конкретной задаче лишь 12,5% подмножества экспертов (часть из 8 активных экспертов), сохраняя производительность, близкую к полной модели; при совместном использовании всех 128 экспертов она остаётся сильной универсальной моделью. EMO имеет 1B активных и 14B общих параметров, обучена на 1 трлн токенов. В отличие от стандартной MoE, EMO за счёт маршрутизации на уровне документов побуждает экспертов формировать доменные специализированные группы, что позволяет выборочно использовать их без серьёзного падения производительности и реализует композируемую архитектуру, оптимизируя компромисс между памятью и точностью больших разреженных MoE.
Ключевые моменты
- EMO — новая модель смеси экспертов,в которой модульная структура возникает непосредственно из…
- Модель позволяет использовать в конкретной задаче лишь 12,5% подмножества экспертов (часть из 8…
- при совместном использовании всех 128 экспертов она остаётся сильной универсальной моделью.
- EMO имеет 1B активных и 14B общих параметров,обучена на 1 трлн токенов.
- В отличие от стандартной MoE,EMO за счёт маршрутизации на уровне документов побуждает экспертов…
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Релизы моделей
- Оценка ИИ
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: EMO: смесь экспертов для предобучения с эмерджентной модульностью. 9 мая 2026. https://new.nat6.net/ru/news/cmox4xh0p006lslguuhqaou8t/