Xiaohongshu et l'Université de Pékin open source UltraEP : une solution d'équilibrage de charge « optimale » pour l'entraînement et l'inférence MoE à grande échelle
Résumé IA
Xiaohongshu et l'Université de Pékin open source UltraEP, qui introduit pour la première fois en système de production un équilibrage de charge en temps réel fondé sur des informations de routage exactes, en dupliquant dynamiquement les experts chauds à chaque microbatch et à chaque couche. Il atteint en moyenne 94,3 % des performances idéales, soit 1,49 fois mieux que les frameworks d'entraînement et d'inférence SOTA du secteur. La solution est déployée dans le pré-entraînement complet d'un modèle MoE de 288B paramètres, en maintenant au moins 92 % des performances idéales.
Points clés
- Xiaohongshu et l'Université de Pékin open source UltraEP,qui introduit pour la première fois en…
- Il atteint en moyenne 94,3 % des performances idéales,soit 1,49 fois mieux que les frameworks…
- La solution est déployée dans le pré-entraînement complet d'un modèle MoE de 288B paramètres,en…
En bref
- Publié
- Mis à jour
- Source
- 公众号:小红书技术(dots.llm)
- Catégorie
- Produits et applications
- Score IA
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Xiaohongshu et l'Université de Pékin open source UltraEP : une solution d'équilibrage de charge « optimale » pour l'entraînement et l'inférence MoE à grande échelle. 20. juillet 2026. https://new.nat6.net/fr/news/cmsdu108a00uerofzae7t96q3/