TRLがDelta Weight Syncを追加:Hub Bucket経由で重みの変化を転送、1ステップあたり1.2 GBから20〜35 MBに削減
原題:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
AI 要約
非同期強化学習では、トレーナーが各ステップで完全なモデル重み(例えば1Tパラメータのチェックポイントは約1 TB)を推論エンジンに転送する必要がある。TRLは新たなPRで、隣接するRL最適化ステップ間で約99%のbf16重みビットが同一である特性を利用し、変化した重みのみをスパースなsafetensorsファイルとしてエンコードしてHugging Face Bucketにアップロードし、vLLMに取得を通知する。Qwen3-0.6Bでは、1ステップあたりの転送量が1.2 GBから20〜35 MBに削減された。実験では完全分離のトレーニングシナリオも示された。トレーナー、vLLM、Wordle環境がそれぞれ別のマシンとHugging Face Spaceに配置され、重みは単一のHub bucketを通じて流れ、共有クラスタ、RDMA、VPNは不要である。
要点
- 非同期強化学習では、トレーナーが各ステップで完全なモデル重み(例えば1Tパラメータのチェックポイントは約1 TB)を推論エンジンに転送する必要がある。
- TRLは新たなPRで、隣接するRL最適化ステップ間で約99%のbf16重みビットが同一である特性を利用し、変化した重みのみをスパースなsafetensorsファイルとしてエンコードしてHugging…
- Qwen3-0.
- 6Bでは、1ステップあたりの転送量が1.
- 2 GBから20〜35 MBに削減された。
概要
- 公開日時
- 更新日時
- カテゴリ
- チュートリアル
- AI スコア
- 61
异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:TRLがDelta Weight Syncを追加:Hub Bucket経由で重みの変化を転送、1ステップあたり1.2 GBから20〜35 MBに削減。2026年5月27日。https://new.nat6.net/ja/news/cmpo5j5lm034mslv4qv9h13v8/