Xiaohongshu и Пекинский университет открыли исходный код UltraEP: «оптимальное» решение балансировки нагрузки для крупномасштабного обучения и инференса MoE
ИИ-резюме
Xiaohongshu и Пекинский университет открыли исходный код UltraEP, впервые внедрив в производственную систему реальную балансировку нагрузки на основе точной информации маршрутизации: на каждом microbatch и каждом слое динамически реплицируются горячие эксперты. В среднем достигается 94,3% идеальной производительности, что в 1,49 раза выше отраслевых SOTA-фреймворков обучения и инференса. Решение развёрнуто в полном предобучении MoE-модели с 288B параметров и удерживает не менее 92% идеальной производительности.
Ключевые моменты
- Xiaohongshu и Пекинский университет открыли исходный код UltraEP,впервые внедрив в…
- В среднем достигается 94,3% идеальной производительности,что в 1,49 раза выше отраслевых…
- Решение развёрнуто в полном предобучении MoE-модели с 288B параметров и удерживает не менее 92%…
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:小红书技术(dots.llm)
- Категория
- Продукты и приложения
- Оценка ИИ
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Xiaohongshu и Пекинский университет открыли исходный код UltraEP: «оптимальное» решение балансировки нагрузки для крупномасштабного обучения и инференса MoE. 20 июля 2026. https://new.nat6.net/ru/news/cmsdu108a00uerofzae7t96q3/