vLLM V0 hanggang V1: unahing tiyakin ang tamang backend behavior sa online reinforcement learning
Orihinal na pamagat:vLLM V0 to V1: Correctness Before Corrections in RL
AI summary
Upang matiyak na ang resulta ng online reinforcement learning training ay tumutugma sa V0 reference run pagkatapos ng malaking rewrite ng vLLM mula 0.8.5 hanggang 0.18.1, inuna ng team na ayusin ang backend behavior kaysa i-adjust ang RL objective. Kabilang sa mga key fix: itakda ang log probability mode sa `processed_logprobs` upang tumugma sa sampler distribution; i-disable ang V1-specific na prefix caching at async scheduling at iba pang runtime default; i-adjust ang weight update path upang tumugma sa cache retention behavior ng V0; at tiyakin na ang rollout backend ay gumagamit ng fp32 precision na `lm_head` para sa final projection. Inalis ng mga hakbang na ito ang bias sa mean ng policy ratio, kaya nagtugma ang V1 sa V0 sa mga metric tulad ng KL divergence at entropy.
Mahahalagang impormasyon
- Upang matiyak na ang resulta ng online reinforcement learning training ay tumutugma sa V0…
- 5 hanggang 0.
- 1,inuna ng team na ayusin ang backend behavior kaysa i-adjust ang RL objective.
- Kabilang sa mga key fix: itakda ang log probability mode sa `processed_logprobs` upang tumugma sa…
- i-disable ang V1-specific na prefix caching at async scheduling at iba pang runtime default
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Hugging Face 社区博客(混合发现)
- Kategorya
- Mga Tutorial at Tip
- AI na marka
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: vLLM V0 hanggang V1: unahing tiyakin ang tamang backend behavior sa online reinforcement learning. 7 Mayo 2026. https://new.nat6.net/fil/news/cmoug22sy00eeslbajec354qh/