vLLM V0 bis V1: Korrektes Backend-Verhalten hat Priorität im Online-Reinforcement-Learning
Originaltitel:vLLM V0 to V1: Correctness Before Corrections in RL
KI-Zusammenfassung
Um sicherzustellen, dass die Ergebnisse des Online-Reinforcement-Learnings nach der umfassenden Neufassung von vLLM von 0.8.5 auf 0.18.1 mit den Referenzläufen von V0 übereinstimmen, hat das Team vorrangig das Backend-Verhalten korrigiert statt die RL-Ziele anzupassen. Zu den zentralen Korrekturen gehören: Der Log-Wahrscheinlichkeitsmodus wird auf `processed_logprobs` gesetzt, um die Sampler-Verteilung abzubilden; V1-spezifische Laufzeitvorgaben wie Prefix-Caching und asynchrone Planung werden deaktiviert; der Pfad für Gewichtsaktualisierungen wird an das Cache-Beibehaltungsverhalten von V0 angepasst; und das Rollout-Backend verwendet für die finale Projektion ein `lm_head` in fp32-Präzision. Diese Maßnahmen beseitigen die Abweichung des Mittelwerts der Policy-Ratio und bringen V1 bei Kennzahlen wie KL-Divergenz und Entropie mit V0 in Einklang.
Kernpunkte
- Um sicherzustellen,dass die Ergebnisse des Online-Reinforcement-Learnings nach der umfassenden…
- 1 mit den Referenzläufen von V0 übereinstimmen,hat das Team vorrangig das Backend-Verhalten…
- Zu den zentralen Korrekturen gehören: Der Log-Wahrscheinlichkeitsmodus wird auf…
- V1-spezifische Laufzeitvorgaben wie Prefix-Caching und asynchrone Planung werden deaktiviert
- der Pfad für Gewichtsaktualisierungen wird an das Cache-Beibehaltungsverhalten von V0 angepasst
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: vLLM V0 bis V1: Korrektes Backend-Verhalten hat Priorität im Online-Reinforcement-Learning. 7. Mai 2026. https://new.nat6.net/de/news/cmoug22sy00eeslbajec354qh/