튜토리얼 및 팁

60배 빠른 콜드 스타트: 동급 GPU를 가중치 서버로 활용

원제목:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers

AI 요약

Runway 플랫폼 팀이 개발한 NCCLBack 시스템은 P2P 가중치 전송을 통해 모델 콜드 스타트 시간을 수 분에서 수 초로 단축했다. 핵심 혁신은 새로 시작된 GPU 추론 노드가 클라우드 스토리지에서 모델 파라미터를 반복 다운로드하는 대신, 클러스터 내 이미 가중치를 로드한 동급 GPU에서 직접 모델 파라미터를 가져오는 것이다. 이 시스템은 GPU 상호 연결(InfiniBand, NVLink 등)의 최대 200-400 Gbps 대역폭을 활용해 기존 스토리지 다운로드의 2-10 Gbps 대비 수십 배 향상을 달성했다. Redis 조정과 NCCL 브로드캐스트 원시 연산을 통해 NCCLBack은 데이터 전송의 효율성과 정확성을 보장하며, 대규모 클러스터에서 새 모델을 배포할 때 콜드 스타트 시간이 노드 수에 따라 선형적으로 증가하지 않고 거의 일정하게 유지되도록 한다.

핵심 정보

  • Runway 플랫폼 팀이 개발한 NCCLBack 시스템은 P2P 가중치 전송을 통해 모델 콜드 스타트 시간을 수 분에서 수 초로 단축했다.
  • 핵심 혁신은 새로 시작된 GPU 추론 노드가 클라우드 스토리지에서 모델 파라미터를 반복 다운로드하는 대신,클러스터 내 이미 가중치를 로드한 동급 GPU에서 직접 모델 파라미터를…
  • 이 시스템은 GPU 상호 연결(InfiniBand,NVLink 등)의 최대 200-400 Gbps 대역폭을 활용해 기존 스토리지 다운로드의 2-10 Gbps 대비 수십 배…
  • Redis 조정과 NCCL 브로드캐스트 원시 연산을 통해 NCCLBack은 데이터 전송의 효율성과 정확성을 보장하며,대규모 클러스터에서 새 모델을 배포할 때 콜드 스타트 시간이…

한눈에 보기

게시
업데이트
출처
Runway:News(网页)
카테고리
튜토리얼 및 팁
AI 점수
55
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 60배 빠른 콜드 스타트: 동급 GPU를 가중치 서버로 활용. 2026년 5월 4일. https://new.nat6.net/ko/news/cmosrd1ac00v8slplayzv4fhm/

전체 보기 →