Xiaohongshu и Пекинский университет открывают UltraEP: решение для балансировки нагрузки в реальном времени при обучении и выводе крупномасштабных MoE
Оригинальный заголовок:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案
ИИ-резюме
Xiaohongshu и Пекинский университет предложили UltraEP — первое решение, внедряющее в производственную систему балансировку нагрузки в реальном времени на основе точной информации о маршрутизации с динамическим дублированием горячих экспертов в каждом микробатче и на каждом слое. На моделях, включая Qwen3-235B, пропускная способность обучения в среднем достигает 94,6% идеальной производительности, что на 42% выше, чем у Megatron-LM; пропускная способность prefill при выводе в 1,56 раза выше, чем у SGLang.
Ключевые моменты
- Xiaohongshu и Пекинский университет предложили UltraEP — первое решение,внедряющее в…
- На моделях,включая Qwen3-235B,пропускная способность обучения в среднем достигает 94,6% идеальной…
- пропускная способность prefill при выводе в 1,56 раза выше,чем у SGLang.
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:小红书技术(dots.llm)
- Категория
- Продукты и приложения
- Оценка ИИ
- 68
MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Xiaohongshu и Пекинский университет открывают UltraEP: решение для балансировки нагрузки в реальном времени при обучении и выводе крупномасштабных MoE. 20 июля 2026. https://new.nat6.net/ru/news/cmrsy2z9e03wpbitlqgh25fol/