튜토리얼 및 팁

TRL, Delta Weight Sync 추가: Hub Bucket으로 가중치 변화 전송, 스텝당 1.2 GB에서 20–35 MB로 감소

원제목:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

AI 요약

비동기 강화학습에서 트레이너는 매 스텝마다 전체 모델 가중치(예: 1T 파라미터 체크포인트 약 1 TB)를 추론 엔진에 전송해야 한다. TRL의 새 PR은 인접한 RL 최적화 단계 간 약 99%의 bf16 가중치 비트가 동일하다는 점을 활용해 변화된 가중치만 희소 safetensors 파일로 인코딩해 Hugging Face Bucket에 업로드하고 vLLM에 가져오도록 알린다. Qwen3-0.6B에서 스텝당 전송량이 1.2 GB에서 20–35 MB로 줄었다. 실험은 완전히 분리된 훈련 시나리오도 보여줬다. 트레이너, vLLM, Wordle 환경이 각각 다른 머신과 Hugging Face Space에 위치하고 가중치는 단일 Hub bucket을 통해 흐르며 공유 클러스터, RDMA, VPN이 필요 없다.

핵심 정보

  • 비동기 강화학습에서 트레이너는 매 스텝마다 전체 모델 가중치(예: 1T 파라미터 체크포인트 약 1 TB)를 추론 엔진에 전송해야 한다.
  • TRL의 새 PR은 인접한 RL 최적화 단계 간 약 99%의 bf16 가중치 비트가 동일하다는 점을 활용해 변화된 가중치만 희소 safetensors 파일로 인코딩해…
  • Qwen3-0.
  • 6B에서 스텝당 전송량이 1.
  • 2 GB에서 20–35 MB로 줄었다.

한눈에 보기

게시
업데이트
출처
Hugging Face 社区博客(混合发现)
카테고리
튜토리얼 및 팁
AI 점수
61
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: TRL, Delta Weight Sync 추가: Hub Bucket으로 가중치 변화 전송, 스텝당 1.2 GB에서 20–35 MB로 감소. 2026년 5월 27일. https://new.nat6.net/ko/news/cmpo5j5lm034mslv4qv9h13v8/

전체 보기 →