TRL, Delta Weight Sync 추가: Hub Bucket으로 가중치 변화 전송, 스텝당 1.2 GB에서 20–35 MB로 감소
원제목:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
AI 요약
비동기 강화학습에서 트레이너는 매 스텝마다 전체 모델 가중치(예: 1T 파라미터 체크포인트 약 1 TB)를 추론 엔진에 전송해야 한다. TRL의 새 PR은 인접한 RL 최적화 단계 간 약 99%의 bf16 가중치 비트가 동일하다는 점을 활용해 변화된 가중치만 희소 safetensors 파일로 인코딩해 Hugging Face Bucket에 업로드하고 vLLM에 가져오도록 알린다. Qwen3-0.6B에서 스텝당 전송량이 1.2 GB에서 20–35 MB로 줄었다. 실험은 완전히 분리된 훈련 시나리오도 보여줬다. 트레이너, vLLM, Wordle 환경이 각각 다른 머신과 Hugging Face Space에 위치하고 가중치는 단일 Hub bucket을 통해 흐르며 공유 클러스터, RDMA, VPN이 필요 없다.
핵심 정보
- 비동기 강화학습에서 트레이너는 매 스텝마다 전체 모델 가중치(예: 1T 파라미터 체크포인트 약 1 TB)를 추론 엔진에 전송해야 한다.
- TRL의 새 PR은 인접한 RL 최적화 단계 간 약 99%의 bf16 가중치 비트가 동일하다는 점을 활용해 변화된 가중치만 희소 safetensors 파일로 인코딩해…
- Qwen3-0.
- 6B에서 스텝당 전송량이 1.
- 2 GB에서 20–35 MB로 줄었다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 튜토리얼 및 팁
- AI 점수
- 61
异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: TRL, Delta Weight Sync 추가: Hub Bucket으로 가중치 변화 전송, 스텝당 1.2 GB에서 20–35 MB로 감소. 2026년 5월 27일. https://new.nat6.net/ko/news/cmpo5j5lm034mslv4qv9h13v8/