製品とアプリ

小紅書と北京大学がUltraEPをオープンソース化:大規模MoEの学習・推論向けリアルタイム負荷分散ソリューション

原題:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

AI 要約

小紅書と北京大学はUltraEPを提案し、正確なルーティング情報に基づくリアルタイム負荷分散を初めて本番システムに導入した。各microbatchと各層でホットなエキスパートを動的に複製する。Qwen3-235Bなどのモデルでは、学習スループットが平均で理想性能の94.6%に達し、Megatron-LM比で42%向上した。推論prefillスループットはSGLang比で1.56倍向上した。

要点

  • 小紅書と北京大学はUltraEPを提案し、正確なルーティング情報に基づくリアルタイム負荷分散を初めて本番システムに導入した。
  • 各microbatchと各層でホットなエキスパートを動的に複製する。
  • Qwen3-235Bなどのモデルでは、学習スループットが平均で理想性能の94.
  • 6%に達し、Megatron-LM比で42%向上した。
  • 推論prefillスループットはSGLang比で1.

概要

公開日時
更新日時
出典
公众号:小红书技术(dots.llm)
カテゴリ
製品とアプリ
AI スコア
68
原文を読む 情報源で全文を読む
おすすめの理由

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:小紅書と北京大学がUltraEPをオープンソース化:大規模MoEの学習・推論向けリアルタイム負荷分散ソリューション。2026年7月20日。https://new.nat6.net/ja/news/cmrsy2z9e03wpbitlqgh25fol/

すべて見る →