Open source ng Xiaohongshu at Peking University ang UltraEP: "optimal" load balancing para sa malakihang MoE training at inference
AI summary
Open source ng Xiaohongshu at Peking University ang UltraEP, na unang nagdala ng real-time load balancing batay sa eksaktong routing information sa production system, dynamic na nagre-replicate ng hot expert sa bawat microbatch at bawat layer, umabot sa average na 94.3% ng ideal performance at 1.49 beses na pagtaas kumpara sa SOTA training at inference framework sa industriya. Na-deploy na ang solusyon sa buong pretraining ng 288B parameter na MoE model, na pinapanatili ang hindi bababa sa 92% ng ideal performance.
Mahahalagang impormasyon
- Open source ng Xiaohongshu at Peking University ang UltraEP,na unang nagdala ng real-time load…
- 3% ng ideal performance at 1.
- 49 beses na pagtaas kumpara sa SOTA training at inference framework sa industriya.
- Na-deploy na ang solusyon sa buong pretraining ng 288B parameter na MoE model,na pinapanatili ang…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:小红书技术(dots.llm)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Open source ng Xiaohongshu at Peking University ang UltraEP: "optimal" load balancing para sa malakihang MoE training at inference. 20 Hulyo 2026. https://new.nat6.net/fil/news/cmsdu108a00uerofzae7t96q3/