Релизы моделей

EMO: смесь экспертов для предобучения с эмерджентной модульностью

Оригинальный заголовок:EMO: Pretraining mixture of experts for emergent modularity

ИИ-резюме

EMO — новая модель смеси экспертов, в которой модульная структура возникает непосредственно из данных в ходе сквозного предобучения без опоры на заданные человеком априорные представления. Модель позволяет использовать в конкретной задаче лишь 12,5% подмножества экспертов (часть из 8 активных экспертов), сохраняя производительность, близкую к полной модели; при совместном использовании всех 128 экспертов она остаётся сильной универсальной моделью. EMO имеет 1B активных и 14B общих параметров, обучена на 1 трлн токенов. В отличие от стандартной MoE, EMO за счёт маршрутизации на уровне документов побуждает экспертов формировать доменные специализированные группы, что позволяет выборочно использовать их без серьёзного падения производительности и реализует композируемую архитектуру, оптимизируя компромисс между памятью и точностью больших разреженных MoE.

Ключевые моменты

  • EMO — новая модель смеси экспертов,в которой модульная структура возникает непосредственно из…
  • Модель позволяет использовать в конкретной задаче лишь 12,5% подмножества экспертов (часть из 8…
  • при совместном использовании всех 128 экспертов она остаётся сильной универсальной моделью.
  • EMO имеет 1B активных и 14B общих параметров,обучена на 1 трлн токенов.
  • В отличие от стандартной MoE,EMO за счёт маршрутизации на уровне документов побуждает экспертов…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Релизы моделей
Оценка ИИ
72
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: EMO: смесь экспертов для предобучения с эмерджентной модульностью. 9 мая 2026. https://new.nat6.net/ru/news/cmox4xh0p006lslguuhqaou8t/

Смотреть все →