Sản phẩm & ứng dụng

Xiaohongshu và Đại học Bắc Kinh mã nguồn mở UltraEP: giải pháp cân bằng tải “tối ưu” cho huấn luyện và suy luận MoE quy mô lớn

Tóm tắt AI

Xiaohongshu và Đại học Bắc Kinh mã nguồn mở UltraEP, lần đầu tiên đưa cân bằng tải thời gian thực dựa trên thông tin định tuyến chính xác vào hệ thống sản xuất, sao chép động các chuyên gia nóng ở mỗi microbatch và mỗi tầng, đạt trung bình 94,3% hiệu năng lý tưởng, tăng 1,49 lần so với khung huấn luyện và suy luận SOTA trong ngành. Giải pháp đã được triển khai trong huấn luyện trước đầy đủ của mô hình MoE 288B tham số, duy trì mức không thấp hơn 92% hiệu năng lý tưởng.

Thông tin chính

  • Xiaohongshu và Đại học Bắc Kinh mã nguồn mở UltraEP,lần đầu tiên đưa cân bằng tải thời gian thực…
  • đạt trung bình 94,3% hiệu năng lý tưởng,49 lần so với khung huấn luyện và suy luận SOTA trong ngành.
  • Giải pháp đã được triển khai trong huấn luyện trước đầy đủ của mô hình MoE 288B tham số,duy trì…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:小红书技术(dots.llm)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
76
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Xiaohongshu và Đại học Bắc Kinh mã nguồn mở UltraEP: giải pháp cân bằng tải “tối ưu” cho huấn luyện và suy luận MoE quy mô lớn. 20 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu108a00uerofzae7t96q3/

Xem tất cả →