Produkte & Apps

Xiaohongshu und Peking-Universität veröffentlichen UltraEP als Open Source: „Optimale“ Lastverteilung für Training und Inferenz großer MoE-Modelle

KI-Zusammenfassung

Xiaohongshu und die Peking-Universität haben UltraEP als Open Source veröffentlicht. Erstmals wird eine Echtzeit-Lastverteilung auf Basis präziser Routing-Informationen in ein Produktionssystem eingeführt, die in jedem Microbatch und auf jeder Ebene dynamisch Hot-Experten repliziert. Im Durchschnitt werden 94,3 % der idealen Leistung erreicht, eine Steigerung um das 1,49-Fache gegenüber dem branchenweiten SOTA-Trainings- und Inferenzframework. Die Lösung wurde im vollständigen Pretraining eines MoE-Modells mit 288B Parametern eingesetzt und hält dabei mindestens 92 % der idealen Leistung.

Kernpunkte

  • Xiaohongshu und die Peking-Universität haben UltraEP als Open Source veröffentlicht.
  • Erstmals wird eine Echtzeit-Lastverteilung auf Basis präziser Routing-Informationen in ein…
  • Im Durchschnitt werden 94,3 % der idealen Leistung erreicht,eine Steigerung um das 1,49-Fache…
  • Die Lösung wurde im vollständigen Pretraining eines MoE-Modells mit 288B Parametern eingesetzt und…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:小红书技术(dots.llm)
Kategorie
Produkte & Apps
KI-Bewertung
76
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Xiaohongshu und Peking-Universität veröffentlichen UltraEP als Open Source: „Optimale“ Lastverteilung für Training und Inferenz großer MoE-Modelle. 20. Juli 2026. https://new.nat6.net/de/news/cmsdu108a00uerofzae7t96q3/

Alle ansehen →