ผลิตภัณฑ์และแอป

Xiaohongshu และ Peking University เปิดโอเพนซอร์ส UltraEP: โซลูชันสมดุลโหลด "เหมาะสมที่สุด" สำหรับการฝึกอบรมและอนุมาน MoE ขนาดใหญ่

สรุปโดย AI

Xiaohongshu และ Peking University เปิดโอเพนซอร์ส UltraEP เป็นครั้งแรกที่นำการสมดุลโหลดแบบเรียลไทม์จากข้อมูลเส้นทางที่แม่นยำเข้าสู่ระบบโปรดักชัน ทำการจำลองผู้เชี่ยวชาญยอดนิยมแบบไดนามิกในแต่ละ microbatch และแต่ละเลเยอร์ ทำได้เฉลี่ย 94.3% ของประสิทธิภาพในอุดมคติ ดีกว่าเฟรมเวิร์กการฝึกอบรมและอนุมาน SOTA ในอุตสาหกรรม 1.49 เท่า โซลูชันนี้ déploy แล้วในการฝึกอบรมล่วงหน้าครบวงจรของโมเดล MoE ขนาด 288B พารามิเตอร์ โดยรักษาระดับไม่ต่ำกว่า 92% ของประสิทธิภาพในอุดมคติ

ข้อมูลสำคัญ

  • Xiaohongshu และ Peking University เปิดโอเพนซอร์ส UltraEP…
  • 3% ของประสิทธิภาพในอุดมคติ ดีกว่าเฟรมเวิร์กการฝึกอบรมและอนุมาน SOTA ในอุตสาหกรรม 1.
  • 49 เท่า โซลูชันนี้ déploy แล้วในการฝึกอบรมล่วงหน้าครบวงจรของโมเดล MoE ขนาด 288B พารามิเตอร์…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:小红书技术(dots.llm)
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
76
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Xiaohongshu และ Peking University เปิดโอเพนซอร์ส UltraEP: โซลูชันสมดุลโหลด "เหมาะสมที่สุด" สำหรับการฝึกอบรมและอนุมาน MoE ขนาดใหญ่ 20 กรกฎาคม 2026 https://new.nat6.net/th/news/cmsdu108a00uerofzae7t96q3/

ดูทั้งหมด →