60倍速のコールドスタート:同級GPUをウェイトサーバーとして活用
原題:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
AI 要約
Runwayプラットフォームチームが開発したNCCLBackシステムは、P2Pウェイト転送によりモデルのコールドスタート時間を数分から数秒に短縮した。中核となる革新は、新たに起動したGPU推論ノードがクラウドストレージからモデルパラメータを再ダウンロードするのではなく、クラスタ内で既にウェイトをロード済みの同級GPUから直接取得することにある。同システムはGPU相互接続(InfiniBand、NVLinkなど)の最大200-400 Gbpsの帯域幅を活用し、従来のストレージダウンロードの2-10 Gbpsと比べて桁違いの向上を実現した。Redisによる調整とNCCLブロードキャストプリミティブにより、NCCLBackはデータ転送の効率と正確性を確保し、大規模クラスタで新モデルをデプロイする際のコールドスタート時間がノード数に比例して増加せず、ほぼ一定に保たれるようにした。
要点
- Runwayプラットフォームチームが開発したNCCLBackシステムは、P2Pウェイト転送によりモデルのコールドスタート時間を数分から数秒に短縮した。
- 中核となる革新は、新たに起動したGPU推論ノードがクラウドストレージからモデルパラメータを再ダウンロードするのではなく、クラスタ内で既にウェイトをロード済みの同級GPUから直接取得することにある。
- 同システムはGPU相互接続(InfiniBand、NVLinkなど)の最大200-400 Gbpsの帯域幅を活用し、従来のストレージダウンロードの2-10 Gbpsと比べて桁違いの向上を実現した。
- Redisによる調整とNCCLブロードキャストプリミティブにより、NCCLBackはデータ転送の効率と正確性を確保し、大規模クラスタで新モデルをデプロイする際のコールドスタート時間がノード数に比例し…
概要
- 公開日時
- 更新日時
- カテゴリ
- チュートリアル
- AI スコア
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:60倍速のコールドスタート:同級GPUをウェイトサーバーとして活用。2026年5月4日。https://new.nat6.net/ja/news/cmosrd1ac00v8slplayzv4fhm/