EMO:創発的モジュール化のための事前トレーニング済み専門家混合モデル
原題:EMO: Pretraining mixture of experts for emergent modularity
AI 要約
EMOは新しい専門家混合モデルで、エンドツーエンドの事前トレーニングによりモジュール構造が人間が定義した事前知識に依存せずデータから直接創発する。このモデルは特定タスクで専門家の12.5%のサブセット(8人のアクティブ専門家の一部)のみを使用しながら、全モデルに近い性能を維持できる。128人の専門家すべてを同時に使用する場合も、強力な汎用モデルとして機能する。EMOはアクティブパラメータ1B、総パラメータ14Bで、トレーニングデータは1兆トークンに達する。標準MoEと比較して、EMOは文書レベルのルーティング制約により専門家がドメイン特化グループを形成することを促し、深刻な性能低下なしに選択的な使用を可能にする。これにより構成可能なアーキテクチャを実現し、大規模疎MoEのメモリと精度のトレードオフを最適化する。
要点
- EMOは新しい専門家混合モデルで、エンドツーエンドの事前トレーニングによりモジュール構造が人間が定義した事前知識に依存せずデータから直接創発する。
- このモデルは特定タスクで専門家の12.
- 5%のサブセット(8人のアクティブ専門家の一部)のみを使用しながら、全モデルに近い性能を維持できる。
- 128人の専門家すべてを同時に使用する場合も、強力な汎用モデルとして機能する。
- EMOはアクティブパラメータ1B、総パラメータ14Bで、トレーニングデータは1兆トークンに達する。
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:EMO:創発的モジュール化のための事前トレーニング済み専門家混合モデル。2026年5月9日。https://new.nat6.net/ja/news/cmox4xh0p006lslguuhqaou8t/