Xiaohongshu und Peking-Universität veröffentlichen UltraEP als Open Source: „Optimale“ Lastverteilung für Training und Inferenz großer MoE-Modelle
KI-Zusammenfassung
Xiaohongshu und die Peking-Universität haben UltraEP als Open Source veröffentlicht. Erstmals wird eine Echtzeit-Lastverteilung auf Basis präziser Routing-Informationen in ein Produktionssystem eingeführt, die in jedem Microbatch und auf jeder Ebene dynamisch Hot-Experten repliziert. Im Durchschnitt werden 94,3 % der idealen Leistung erreicht, eine Steigerung um das 1,49-Fache gegenüber dem branchenweiten SOTA-Trainings- und Inferenzframework. Die Lösung wurde im vollständigen Pretraining eines MoE-Modells mit 288B Parametern eingesetzt und hält dabei mindestens 92 % der idealen Leistung.
Kernpunkte
- Xiaohongshu und die Peking-Universität haben UltraEP als Open Source veröffentlicht.
- Erstmals wird eine Echtzeit-Lastverteilung auf Basis präziser Routing-Informationen in ein…
- Im Durchschnitt werden 94,3 % der idealen Leistung erreicht,eine Steigerung um das 1,49-Fache…
- Die Lösung wurde im vollständigen Pretraining eines MoE-Modells mit 288B Parametern eingesetzt und…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:小红书技术(dots.llm)
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Xiaohongshu und Peking-Universität veröffentlichen UltraEP als Open Source: „Optimale“ Lastverteilung für Training und Inferenz großer MoE-Modelle. 20. Juli 2026. https://new.nat6.net/de/news/cmsdu108a00uerofzae7t96q3/