Xiaohongshu และ Peking University เปิดโอเพนซอร์ส UltraEP: โซลูชันสมดุลโหลด "เหมาะสมที่สุด" สำหรับการฝึกอบรมและอนุมาน MoE ขนาดใหญ่
สรุปโดย AI
Xiaohongshu และ Peking University เปิดโอเพนซอร์ส UltraEP เป็นครั้งแรกที่นำการสมดุลโหลดแบบเรียลไทม์จากข้อมูลเส้นทางที่แม่นยำเข้าสู่ระบบโปรดักชัน ทำการจำลองผู้เชี่ยวชาญยอดนิยมแบบไดนามิกในแต่ละ microbatch และแต่ละเลเยอร์ ทำได้เฉลี่ย 94.3% ของประสิทธิภาพในอุดมคติ ดีกว่าเฟรมเวิร์กการฝึกอบรมและอนุมาน SOTA ในอุตสาหกรรม 1.49 เท่า โซลูชันนี้ déploy แล้วในการฝึกอบรมล่วงหน้าครบวงจรของโมเดล MoE ขนาด 288B พารามิเตอร์ โดยรักษาระดับไม่ต่ำกว่า 92% ของประสิทธิภาพในอุดมคติ
ข้อมูลสำคัญ
- Xiaohongshu และ Peking University เปิดโอเพนซอร์ส UltraEP…
- 3% ของประสิทธิภาพในอุดมคติ ดีกว่าเฟรมเวิร์กการฝึกอบรมและอนุมาน SOTA ในอุตสาหกรรม 1.
- 49 เท่า โซลูชันนี้ déploy แล้วในการฝึกอบรมล่วงหน้าครบวงจรของโมเดล MoE ขนาด 288B พารามิเตอร์…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 公众号:小红书技术(dots.llm)
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Xiaohongshu และ Peking University เปิดโอเพนซอร์ส UltraEP: โซลูชันสมดุลโหลด "เหมาะสมที่สุด" สำหรับการฝึกอบรมและอนุมาน MoE ขนาดใหญ่ 20 กรกฎาคม 2026 https://new.nat6.net/th/news/cmsdu108a00uerofzae7t96q3/