อัปเดต trillion พารามิเตอร์ในระดับวินาที – เทคนิคการถ่ายโอนน้ำหนักแบบ peer-to-peer ในการเรียนรู้เสริมแบบกระจายขนาดใหญ่
หัวข้อต้นฉบับ:Blog Updating 1T parameters in seconds — P2P weight transfer in Large Scale Distributed RL We introduced a RDMA-based, Peer to Peer weight update mechanism for RL workloads in SGLang as a supplement to traditional NCCL broadcast methods, compatible with all major open source models. By util... Jiadong Guo, Xin Ji, Letian Ruan, Teng Ma, Chenyang Zhao, Yueming Yuan, Zhichen Zeng April 29, 2026
สรุปโดย AI
ทีม LMSYS เสนอกลไกอัปเดตน้ำหนักแบบ peer-to-peer ที่ใช้ RDMA สำหรับภาระงานการเรียนรู้เสริมใน SGLang เป็นส่วนเสริมของวิธี NCCL broadcast แบบดั้งเดิม การออกแบบนี้ใช้สำเนาเอนจิน CPU ฝั่งต้นทางและ Mooncake TransferEngine ในการถ่ายโอน P2P RDMA ลดเวลาถ่ายโอนน้ำหนักของโมเดล Kimi-K2 ที่มี 1T พารามิเตอร์จาก 53 วินาทีเหลือ 7.2 วินาที เร็วขึ้น 7 เท่า แลกกับหน่วยความจำ CPU เพิ่มเติม 32G ต่อระดับการฝึกอบรมสำหรับสำเนาเอนจินการอนุมาน การปรับแต่งนี้ลดความซ้ำซ้อนของเครือข่ายให้เหลือน้อยที่สุด ช่วยให้เซิร์ฟเวอร์การอนุมานกลับสู่กระบวนการ rollout ได้เร็วขึ้น และเข้ากันได้กับโมเดลโอเพนซอร์สหลักทั้งหมด
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 74
LMSYS 把分布式 RL 训练的权重同步从 NCCL 广播改成 RDMA P2P,1T 参数模型传输快了 7 倍,做大规模 RL infra 的团队该认真看看这个工程方案。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: อัปเดต trillion พารามิเตอร์ในระดับวินาที – เทคนิคการถ่ายโอนน้ำหนักแบบ peer-to-peer ในการเรียนรู้เสริมแบบกระจายขนาดใหญ่ 29 เมษายน 2026 https://new.nat6.net/th/news/cmokelt5u014nsl4fegroemhe/