Tutorials & Tipps

vLLM V0 bis V1: Korrektes Backend-Verhalten hat Priorität im Online-Reinforcement-Learning

Originaltitel:vLLM V0 to V1: Correctness Before Corrections in RL

KI-Zusammenfassung

Um sicherzustellen, dass die Ergebnisse des Online-Reinforcement-Learnings nach der umfassenden Neufassung von vLLM von 0.8.5 auf 0.18.1 mit den Referenzläufen von V0 übereinstimmen, hat das Team vorrangig das Backend-Verhalten korrigiert statt die RL-Ziele anzupassen. Zu den zentralen Korrekturen gehören: Der Log-Wahrscheinlichkeitsmodus wird auf `processed_logprobs` gesetzt, um die Sampler-Verteilung abzubilden; V1-spezifische Laufzeitvorgaben wie Prefix-Caching und asynchrone Planung werden deaktiviert; der Pfad für Gewichtsaktualisierungen wird an das Cache-Beibehaltungsverhalten von V0 angepasst; und das Rollout-Backend verwendet für die finale Projektion ein `lm_head` in fp32-Präzision. Diese Maßnahmen beseitigen die Abweichung des Mittelwerts der Policy-Ratio und bringen V1 bei Kennzahlen wie KL-Divergenz und Entropie mit V0 in Einklang.

Kernpunkte

  • Um sicherzustellen,dass die Ergebnisse des Online-Reinforcement-Learnings nach der umfassenden…
  • 1 mit den Referenzläufen von V0 übereinstimmen,hat das Team vorrangig das Backend-Verhalten…
  • Zu den zentralen Korrekturen gehören: Der Log-Wahrscheinlichkeitsmodus wird auf…
  • V1-spezifische Laufzeitvorgaben wie Prefix-Caching und asynchrone Planung werden deaktiviert
  • der Pfad für Gewichtsaktualisierungen wird an das Cache-Beibehaltungsverhalten von V0 angepasst

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Tutorials & Tipps
KI-Bewertung
65
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: vLLM V0 bis V1: Korrektes Backend-Verhalten hat Priorität im Online-Reinforcement-Learning. 7. Mai 2026. https://new.nat6.net/de/news/cmoug22sy00eeslbajec354qh/

Alle ansehen →