モデル公開

EMO:創発的モジュール化のための事前トレーニング済み専門家混合モデル

原題:EMO: Pretraining mixture of experts for emergent modularity

AI 要約

EMOは新しい専門家混合モデルで、エンドツーエンドの事前トレーニングによりモジュール構造が人間が定義した事前知識に依存せずデータから直接創発する。このモデルは特定タスクで専門家の12.5%のサブセット(8人のアクティブ専門家の一部)のみを使用しながら、全モデルに近い性能を維持できる。128人の専門家すべてを同時に使用する場合も、強力な汎用モデルとして機能する。EMOはアクティブパラメータ1B、総パラメータ14Bで、トレーニングデータは1兆トークンに達する。標準MoEと比較して、EMOは文書レベルのルーティング制約により専門家がドメイン特化グループを形成することを促し、深刻な性能低下なしに選択的な使用を可能にする。これにより構成可能なアーキテクチャを実現し、大規模疎MoEのメモリと精度のトレードオフを最適化する。

要点

  • EMOは新しい専門家混合モデルで、エンドツーエンドの事前トレーニングによりモジュール構造が人間が定義した事前知識に依存せずデータから直接創発する。
  • このモデルは特定タスクで専門家の12.
  • 5%のサブセット(8人のアクティブ専門家の一部)のみを使用しながら、全モデルに近い性能を維持できる。
  • 128人の専門家すべてを同時に使用する場合も、強力な汎用モデルとして機能する。
  • EMOはアクティブパラメータ1B、総パラメータ14Bで、トレーニングデータは1兆トークンに達する。

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
モデル公開
AI スコア
72
原文を読む 情報源で全文を読む
おすすめの理由

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:EMO:創発的モジュール化のための事前トレーニング済み専門家混合モデル。2026年5月9日。https://new.nat6.net/ja/news/cmox4xh0p006lslguuhqaou8t/

すべて見る →
  • 1兆パラメータの指示モデルLing-2.6-1Tを発表

    inclusionAIはLing-2.6-1TがOpenRouterで提供開始されたと発表した。🚀 この1兆パラメータのフラッグシップ指示モデルは、現実世界のエージェント向けに設計されている。「高速思考」アプローチを採用し、AIME26と…

    X:蚂蚁百灵 (@AntLingAGI)モデル公開AI スコア 76

  • Ring-2.6-1Tリリース:複雑なタスク向けに設計された兆パラメータ思考モデル

    Ring-2.6-1Tは、現実世界の複雑なタスクや本番環境向けに構築された兆パラメータのフラッグシップ思考モデルである。調整可能な思考努力機能を備え、動的計算メカニズムにより認知深度、トークンコスト、実行速度を柔軟にバランスさせる。エージ…

    X:蚂蚁百灵 (@AntLingAGI)モデル公開AI スコア 78

  • GPT-5.5とGPT-5.5-Cyberによるサイバー分野の信頼済みアクセスの拡大

    OpenAIはサイバーセキュリティ分野の信頼済みアクセスプログラムを拡大し、GPT-5.5とサイバーセキュリティ専用のGPT-5.5-Cyberモデルを発表した。これは検証済みのサイバーセキュリティ防御者が脆弱性研究を加速し、重要インフラ…

    OpenAI:官网动态(RSS · 排除企业/客户案例)モデル公開AI スコア 74

  • APIの新モデルで音声インテリジェンスを推進

    OpenAI APIは、推論、翻訳、音声文字起こしが可能な新しいリアルタイム音声モデルを発表した。これらのモデルは音声対話の自然さと知能レベルを大幅に向上させ、リアルタイム処理と多言語変換をサポートする。新機能は、開発者により強力なツール…

    OpenAI:官网动态(RSS · 排除企业/客户案例)モデル公開AI スコア 86

  • SenseNova U1画像生成モデルがComfyUIで利用可能に

    SenseNova U1画像生成モデルがComfyUI上で実行可能になり、REBEL AIを含む評価者から高い評価を得ている。REBEL AIが公開した実践チュートリアルでは、同モデルのデプロイワークフローと実環境での画像生成能力のテスト…

    X:商汤 SenseTime (@SenseTime_AI)モデル公開AI スコア 72