論文・研究

兆パラメータを秒単位で更新——大規模分散強化学習におけるピアツーピア重み転送技術

原題:Blog Updating 1T parameters in seconds — P2P weight transfer in Large Scale Distributed RL We introduced a RDMA-based, Peer to Peer weight update mechanism for RL workloads in SGLang as a supplement to traditional NCCL broadcast methods, compatible with all major open source models. By util... Jiadong Guo, Xin Ji, Letian Ruan, Teng Ma, Chenyang Zhao, Yueming Yuan, Zhichen Zeng April 29, 2026

AI 要約

LMSYSチームはSGLangの強化学習ワークロード向けに、従来のNCCLブロードキャスト手法を補完するRDMAベースのピアツーピア重み更新メカニズムを提案した。この設計はソース側CPUエンジンレプリカとMooncake TransferEngineを利用したP2P RDMA転送により、1TパラメータのKimi-K2モデルの重み転送時間を53秒から7.2秒へ大幅に短縮し、7倍の高速化を実現した。その代償として、各トレーニング階層はCPUメモリ内に32Gの推論エンジンレプリカを追加で占有する必要がある。この最適化はネットワーク冗長性を最小限に抑え、推論サーバーがrolloutプロセスをより迅速に再開できるようにし、すべての主要オープンソースモデルと互換性がある。

要点

  • LMSYSチームはSGLangの強化学習ワークロード向けに、従来のNCCLブロードキャスト手法を補完するRDMAベースのピアツーピア重み更新メカニズムを提案した。
  • この設計はソース側CPUエンジンレプリカとMooncake TransferEngineを利用したP2P RDMA転送により、1TパラメータのKimi-K2モデルの重み転送時間を53秒から7.
  • 2秒へ大幅に短縮し、7倍の高速化を実現した。
  • その代償として、各トレーニング階層はCPUメモリ内に32Gの推論エンジンレプリカを追加で占有する必要がある。
  • この最適化はネットワーク冗長性を最小限に抑え、推論サーバーがrolloutプロセスをより迅速に再開できるようにし、すべての主要オープンソースモデルと互換性がある

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
論文・研究
AI スコア
74
原文を読む 情報源で全文を読む
おすすめの理由

LMSYS 把分布式 RL 训练的权重同步从 NCCL 广播改成 RDMA P2P,1T 参数模型传输快了 7 倍,做大规模 RL infra 的团队该认真看看这个工程方案。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:兆パラメータを秒単位で更新——大規模分散強化学習におけるピアツーピア重み転送技術。2026年4月29日。https://new.nat6.net/ja/news/cmokelt5u014nsl4fegroemhe/

すべて見る →