製品とアプリ

小紅書と北京大学がUltraEPをオープンソース化:大規模MoEの学習・推論向け「最適」負荷分散ソリューション

AI 要約

小紅書と北京大学はUltraEPをオープンソース化した。正確なルーティング情報に基づくリアルタイム負荷分散を初めて本番システムに導入し、各microbatchと各層でホットなエキスパートを動的に複製する。平均で理想性能の94.3%に達し、業界SOTAの学習・推論フレームワークと比べて1.49倍向上した。同ソリューションは288BパラメータMoEモデルの完全な事前トレーニングに導入され、理想性能の92%以上を維持している。

要点

  • 小紅書と北京大学はUltraEPをオープンソース化した。
  • 正確なルーティング情報に基づくリアルタイム負荷分散を初めて本番システムに導入し、各microbatchと各層でホットなエキスパートを動的に複製する。
  • 平均で理想性能の94.
  • 3%に達し、業界SOTAの学習・推論フレームワークと比べて1.
  • 49倍向上した。

概要

公開日時
更新日時
出典
公众号:小红书技术(dots.llm)
カテゴリ
製品とアプリ
AI スコア
76
原文を読む 情報源で全文を読む
おすすめの理由

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:小紅書と北京大学がUltraEPをオープンソース化:大規模MoEの学習・推論向け「最適」負荷分散ソリューション。2026年7月20日。https://new.nat6.net/ja/news/cmsdu108a00uerofzae7t96q3/

すべて見る →