Xiaohongshu và Đại học Bắc Kinh mã nguồn mở UltraEP: giải pháp cân bằng tải “tối ưu” cho huấn luyện và suy luận MoE quy mô lớn
Tóm tắt AI
Xiaohongshu và Đại học Bắc Kinh mã nguồn mở UltraEP, lần đầu tiên đưa cân bằng tải thời gian thực dựa trên thông tin định tuyến chính xác vào hệ thống sản xuất, sao chép động các chuyên gia nóng ở mỗi microbatch và mỗi tầng, đạt trung bình 94,3% hiệu năng lý tưởng, tăng 1,49 lần so với khung huấn luyện và suy luận SOTA trong ngành. Giải pháp đã được triển khai trong huấn luyện trước đầy đủ của mô hình MoE 288B tham số, duy trì mức không thấp hơn 92% hiệu năng lý tưởng.
Thông tin chính
- Xiaohongshu và Đại học Bắc Kinh mã nguồn mở UltraEP,lần đầu tiên đưa cân bằng tải thời gian thực…
- đạt trung bình 94,3% hiệu năng lý tưởng,49 lần so với khung huấn luyện và suy luận SOTA trong ngành.
- Giải pháp đã được triển khai trong huấn luyện trước đầy đủ của mô hình MoE 288B tham số,duy trì…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- 公众号:小红书技术(dots.llm)
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Xiaohongshu và Đại học Bắc Kinh mã nguồn mở UltraEP: giải pháp cân bằng tải “tối ưu” cho huấn luyện và suy luận MoE quy mô lớn. 20 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu108a00uerofzae7t96q3/