Produkte & Apps

Xiaohongshu und Peking-Universität veröffentlichen UltraEP als Open Source: Echtzeit-Lastausgleich für Training und Inferenz großer MoE-Modelle

Originaltitel:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

KI-Zusammenfassung

Xiaohongshu und die Peking-Universität haben UltraEP vorgestellt, das erstmals einen Echtzeit-Lastausgleich auf Basis präziser Routing-Informationen in ein Produktionssystem bringt und Hot-Experten in jedem Microbatch und jeder Schicht dynamisch repliziert. Bei Modellen wie Qwen3-235B erreicht der Trainingsdurchsatz im Durchschnitt 94,6 % der idealen Leistung, eine Steigerung von 42 % gegenüber Megatron-LM; der Inferenz-Prefill-Durchsatz liegt 1,56-mal höher als bei SGLang.

Kernpunkte

  • Xiaohongshu und die Peking-Universität haben UltraEP vorgestellt,das erstmals einen…
  • Bei Modellen wie Qwen3-235B erreicht der Trainingsdurchsatz im Durchschnitt 94,6 % der idealen…
  • der Inferenz-Prefill-Durchsatz liegt 1,56-mal höher als bei SGLang.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:小红书技术(dots.llm)
Kategorie
Produkte & Apps
KI-Bewertung
68
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Xiaohongshu und Peking-Universität veröffentlichen UltraEP als Open Source: Echtzeit-Lastausgleich für Training und Inferenz großer MoE-Modelle. 20. Juli 2026. https://new.nat6.net/de/news/cmrsy2z9e03wpbitlqgh25fol/

Alle ansehen →