Produits et applications

Xiaohongshu et l'Université de Pékin ouvrent UltraEP, une solution d'équilibrage de charge en temps réel pour l'entraînement et l'inférence MoE à grande échelle

Titre original:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

Résumé IA

Xiaohongshu et l'Université de Pékin proposent UltraEP, qui introduit pour la première fois dans un système de production un équilibrage de charge en temps réel fondé sur des informations de routage précises, en dupliquant dynamiquement les experts populaires à chaque microbatch et à chaque couche. Sur des modèles comme Qwen3-235B, le débit d'entraînement atteint en moyenne 94,6 % des performances idéales, soit une amélioration de 42 % par rapport à Megatron-LM ; le débit de prefill en inférence est 1,56 fois supérieur à celui de SGLang.

Points clés

  • Xiaohongshu et l'Université de Pékin proposent UltraEP,qui introduit pour la première fois dans un…
  • Sur des modèles comme Qwen3-235B,le débit d'entraînement atteint en moyenne 94,6 % des…
  • le débit de prefill en inférence est 1,56 fois supérieur à celui de SGLang.

En bref

Publié
Mis à jour
Source
公众号:小红书技术(dots.llm)
Catégorie
Produits et applications
Score IA
68
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Xiaohongshu et l'Université de Pékin ouvrent UltraEP, une solution d'équilibrage de charge en temps réel pour l'entraînement et l'inférence MoE à grande échelle. 20. juillet 2026. https://new.nat6.net/fr/news/cmrsy2z9e03wpbitlqgh25fol/

Tout voir →