Sản phẩm & ứng dụng

Xiaohongshu và Đại học Bắc Kinh mở mã nguồn UltraEP: giải pháp cân bằng tải thời gian thực cho huấn luyện và suy luận MoE quy mô lớn

Tiêu đề gốc:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

Tóm tắt AI

Xiaohongshu và Đại học Bắc Kinh đề xuất UltraEP, lần đầu đưa cân bằng tải thời gian thực dựa trên thông tin định tuyến chính xác vào hệ thống sản xuất, sao chép động các chuyên gia nóng ở mỗi microbatch và mỗi lớp. Trên các mô hình như Qwen3-235B, thông lượng huấn luyện đạt trung bình 94,6% hiệu năng lý tưởng, tăng 42% so với Megatron-LM; thông lượng prefill suy luận tăng 1,56 lần so với SGLang.

Thông tin chính

  • Xiaohongshu và Đại học Bắc Kinh đề xuất UltraEP,lần đầu đưa cân bằng tải thời gian thực dựa trên…
  • Trên các mô hình như Qwen3-235B,thông lượng huấn luyện đạt trung bình 94,6% hiệu năng lý…
  • thông lượng prefill suy luận tăng 1,56 lần so với SGLang.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:小红书技术(dots.llm)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
68
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Xiaohongshu và Đại học Bắc Kinh mở mã nguồn UltraEP: giải pháp cân bằng tải thời gian thực cho huấn luyện và suy luận MoE quy mô lớn. 20 tháng 7 2026. https://new.nat6.net/vi/news/cmrsy2z9e03wpbitlqgh25fol/

Xem tất cả →