vLLM V0からV1へ:オンライン強化学習でバックエンドの動作正確性を優先
原題:vLLM V0 to V1: Correctness Before Corrections in RL
AI 要約
vLLMの0.8.5から0.18.1への大規模な書き換え後、オンライン強化学習のトレーニング結果がV0の参照実行と一致することを確保するため、チームはRL目標の調整よりもバックエンドの動作修正を優先した。主な修正には、ログ確率モードを`processed_logprobs`に設定してサンプラー分布に一致させること、V1特有のプレフィックスキャッシュや非同期スケジューリングなどのランタイムデフォルトを無効化すること、重み更新パスを調整してV0のキャッシュ保持動作に一致させること、rolloutバックエンドが最終投影にfp32精度の`lm_head`を使用することを確保することが含まれる。これらの措置によりポリシー比率の平均偏差が解消され、V1はKLダイバージェンスやエントロピーなどの指標でV0と一致した。
要点
- vLLMの0.
- 1への大規模な書き換え後、オンライン強化学習のトレーニング結果がV0の参照実行と一致することを確保するため、チームはRL目標の調整よりもバックエンドの動作修正を優先した。
- 主な修正には、ログ確率モードを`processed_logprobs`に設定してサンプラー分布に一致させること、V1特有のプレフィックスキャッシュや非同期スケジューリングなどのランタイムデフォルトを…
- これらの措置によりポリシー比率の平均偏差が解消され、V1はKLダイバージェンスやエントロピーなどの指標でV0と一致した
概要
- 公開日時
- 更新日時
- カテゴリ
- チュートリアル
- AI スコア
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:vLLM V0からV1へ:オンライン強化学習でバックエンドの動作正確性を優先。2026年5月7日。https://new.nat6.net/ja/news/cmoug22sy00eeslbajec354qh/