Продукты и приложения

Xiaohongshu и Пекинский университет открывают UltraEP: решение для балансировки нагрузки в реальном времени при обучении и выводе крупномасштабных MoE

Оригинальный заголовок:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

ИИ-резюме

Xiaohongshu и Пекинский университет предложили UltraEP — первое решение, внедряющее в производственную систему балансировку нагрузки в реальном времени на основе точной информации о маршрутизации с динамическим дублированием горячих экспертов в каждом микробатче и на каждом слое. На моделях, включая Qwen3-235B, пропускная способность обучения в среднем достигает 94,6% идеальной производительности, что на 42% выше, чем у Megatron-LM; пропускная способность prefill при выводе в 1,56 раза выше, чем у SGLang.

Ключевые моменты

  • Xiaohongshu и Пекинский университет предложили UltraEP — первое решение,внедряющее в…
  • На моделях,включая Qwen3-235B,пропускная способность обучения в среднем достигает 94,6% идеальной…
  • пропускная способность prefill при выводе в 1,56 раза выше,чем у SGLang.

Кратко

Опубликовано
Обновлено
Источник
公众号:小红书技术(dots.llm)
Категория
Продукты и приложения
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Xiaohongshu и Пекинский университет открывают UltraEP: решение для балансировки нагрузки в реальном времени при обучении и выводе крупномасштабных MoE. 20 июля 2026. https://new.nat6.net/ru/news/cmrsy2z9e03wpbitlqgh25fol/

Смотреть все →