Mga produkto at aplikasyon

Open source ng Xiaohongshu at Peking University ang UltraEP: "optimal" load balancing para sa malakihang MoE training at inference

AI summary

Open source ng Xiaohongshu at Peking University ang UltraEP, na unang nagdala ng real-time load balancing batay sa eksaktong routing information sa production system, dynamic na nagre-replicate ng hot expert sa bawat microbatch at bawat layer, umabot sa average na 94.3% ng ideal performance at 1.49 beses na pagtaas kumpara sa SOTA training at inference framework sa industriya. Na-deploy na ang solusyon sa buong pretraining ng 288B parameter na MoE model, na pinapanatili ang hindi bababa sa 92% ng ideal performance.

Mahahalagang impormasyon

  • Open source ng Xiaohongshu at Peking University ang UltraEP,na unang nagdala ng real-time load…
  • 3% ng ideal performance at 1.
  • 49 beses na pagtaas kumpara sa SOTA training at inference framework sa industriya.
  • Na-deploy na ang solusyon sa buong pretraining ng 288B parameter na MoE model,na pinapanatili ang…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:小红书技术(dots.llm)
Kategorya
Mga produkto at aplikasyon
AI na marka
76
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Open source ng Xiaohongshu at Peking University ang UltraEP: "optimal" load balancing para sa malakihang MoE training at inference. 20 Hulyo 2026. https://new.nat6.net/fil/news/cmsdu108a00uerofzae7t96q3/

Tingnan lahat →