논문 및 연구

초 단위로 조 파라미터 업데이트 — 대규모 분산 강화학습의 P2P 가중치 전송 기술

원제목:Blog Updating 1T parameters in seconds — P2P weight transfer in Large Scale Distributed RL We introduced a RDMA-based, Peer to Peer weight update mechanism for RL workloads in SGLang as a supplement to traditional NCCL broadcast methods, compatible with all major open source models. By util... Jiadong Guo, Xin Ji, Letian Ruan, Teng Ma, Chenyang Zhao, Yueming Yuan, Zhichen Zeng April 29, 2026

AI 요약

LMSYS 팀은 SGLang의 강화학습 워크로드를 위해 기존 NCCL 브로드캐스트 방식을 보완하는 RDMA 기반 P2P 가중치 업데이트 메커니즘을 제안했다. 이 설계는 소스 측 CPU 엔진 복제본과 Mooncake TransferEngine을 활용한 P2P RDMA 전송으로 1T 파라미터 Kimi-K2 모델의 가중치 전송 시간을 53초에서 7.2초로 대폭 단축해 7배 속도를 높였다. 대가로 각 훈련 등급은 CPU 메모리에 32G 추론 엔진 복제본을 추가로 점유해야 한다. 이 최적화는 네트워크 중복을 최소화하고 추론 서버가 롤아웃 과정을 더 빨리 재개하도록 하며 모든 주요 오픈소스 모델과 호환된다.

핵심 정보

  • LMSYS 팀은 SGLang의 강화학습 워크로드를 위해 기존 NCCL 브로드캐스트 방식을 보완하는 RDMA 기반 P2P 가중치 업데이트 메커니즘을 제안했다.
  • 이 설계는 소스 측 CPU 엔진 복제본과 Mooncake TransferEngine을 활용한 P2P RDMA 전송으로 1T 파라미터 Kimi-K2 모델의 가중치 전송 시간을…
  • 2초로 대폭 단축해 7배 속도를 높였다.
  • 대가로 각 훈련 등급은 CPU 메모리에 32G 추론 엔진 복제본을 추가로 점유해야 한다.
  • 이 최적화는 네트워크 중복을 최소화하고 추론 서버가 롤아웃 과정을 더 빨리 재개하도록 하며 모든 주요 오픈소스 모델과 호환된다.

한눈에 보기

게시
업데이트
출처
LMSYS Blog
카테고리
논문 및 연구
AI 점수
74
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

LMSYS 把分布式 RL 训练的权重同步从 NCCL 广播改成 RDMA P2P,1T 参数模型传输快了 7 倍,做大规模 RL infra 的团队该认真看看这个工程方案。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 초 단위로 조 파라미터 업데이트 — 대규모 분산 강화학습의 P2P 가중치 전송 기술. 2026년 4월 29일. https://new.nat6.net/ko/news/cmokelt5u014nsl4fegroemhe/

전체 보기 →