vLLM V0 到 V1:在线强化学习中优先确保后端行为正确性
原文标题:vLLM V0 to V1: Correctness Before Corrections in RL
AI 摘要
为确保 vLLM 从 0.8.5 到 0.18.1 的重大重写后,在线强化学习训练结果与 V0 参考运行一致,团队优先修复后端行为而非调整 RL 目标。关键修复包括:将日志概率模式设为 `processed_logprobs` 以匹配采样器分布;禁用 V1 特有的前缀缓存和异步调度等运行时默认值;调整权重更新路径以匹配 V0 的缓存保留行为;并确保 rollout 后端使用 fp32 精度的 `lm_head` 进行最终投影。这些措施消除了策略比率均值偏差,使 V1 在 KL 散度、熵等指标上与 V0 达成一致。
关键信息
- 为确保 vLLM 从 0.
- 1 的重大重写后,在线强化学习训练结果与 V0 参考运行一致,团队优先修复后端行为而非调整 RL 目标。
- 关键修复包括:将日志概率模式设为 `processed_logprobs` 以匹配采样器分布
- 禁用 V1 特有的前缀缓存和异步调度等运行时默认值
- 调整权重更新路径以匹配 V0 的缓存保留行为
速览
- 发布时间
- 更新时间
- 分类
- 教程与技巧
- AI 评分
- 65
推荐理由
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:vLLM V0 到 V1:在线强化学习中优先确保后端行为正确性。2026年5月7日。https://new.nat6.net/news/cmoug22sy00eeslbajec354qh/