チュートリアル

vLLM V0からV1へ:オンライン強化学習でバックエンドの動作正確性を優先

原題:vLLM V0 to V1: Correctness Before Corrections in RL

AI 要約

vLLMの0.8.5から0.18.1への大規模な書き換え後、オンライン強化学習のトレーニング結果がV0の参照実行と一致することを確保するため、チームはRL目標の調整よりもバックエンドの動作修正を優先した。主な修正には、ログ確率モードを`processed_logprobs`に設定してサンプラー分布に一致させること、V1特有のプレフィックスキャッシュや非同期スケジューリングなどのランタイムデフォルトを無効化すること、重み更新パスを調整してV0のキャッシュ保持動作に一致させること、rolloutバックエンドが最終投影にfp32精度の`lm_head`を使用することを確保することが含まれる。これらの措置によりポリシー比率の平均偏差が解消され、V1はKLダイバージェンスやエントロピーなどの指標でV0と一致した。

要点

  • vLLMの0.
  • 1への大規模な書き換え後、オンライン強化学習のトレーニング結果がV0の参照実行と一致することを確保するため、チームはRL目標の調整よりもバックエンドの動作修正を優先した。
  • 主な修正には、ログ確率モードを`processed_logprobs`に設定してサンプラー分布に一致させること、V1特有のプレフィックスキャッシュや非同期スケジューリングなどのランタイムデフォルトを…
  • これらの措置によりポリシー比率の平均偏差が解消され、V1はKLダイバージェンスやエントロピーなどの指標でV0と一致した

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
チュートリアル
AI スコア
65
原文を読む 情報源で全文を読む
おすすめの理由

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:vLLM V0からV1へ:オンライン強化学習でバックエンドの動作正確性を優先。2026年5月7日。https://new.nat6.net/ja/news/cmoug22sy00eeslbajec354qh/

すべて見る →