Tutoriels et astuces

vLLM V0 vers V1 : priorité à la justesse du comportement du backend en RL en ligne

Titre original:vLLM V0 to V1: Correctness Before Corrections in RL

Résumé IA

Pour garantir que les résultats d'entraînement en apprentissage par renforcement en ligne avec vLLM, après la réécriture majeure de la version 0.8.5 à 0.18.1, correspondent aux exécutions de référence V0, l'équipe a priorisé la correction du comportement du backend plutôt que l'ajustement des objectifs RL. Les corrections clés incluent : le passage du mode log-probabilités à `processed_logprobs` pour correspondre à la distribution de l'échantillonneur ; la désactivation des valeurs par défaut propres à V1, comme le cache de préfixes et l'ordonnancement asynchrone ; l'ajustement du chemin de mise à jour des poids pour correspondre à la conservation du cache de V0 ; et l'utilisation d'un `lm_head` en fp32 pour la projection finale du backend de rollout. Ces mesures ont éliminé le biais de la moyenne du ratio de politique et permis à V1 de s'aligner sur V0 pour des indicateurs comme la divergence KL et l'entropie.

Points clés

  • Pour garantir que les résultats d'entraînement en apprentissage par renforcement en ligne avec…
  • 1,correspondent aux exécutions de référence V0,l'équipe a priorisé la correction du comportement…
  • Les corrections clés incluent: le passage du mode log-probabilités à `processed_logprobs` pour…
  • la désactivation des valeurs par défaut propres à V1,comme le cache de préfixes et…
  • l'ajustement du chemin de mise à jour des poids pour correspondre à la conservation du cache de V0

En bref

Publié
Mis à jour
Source
Hugging Face 社区博客(混合发现)
Catégorie
Tutoriels et astuces
Score IA
65
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : vLLM V0 vers V1 : priorité à la justesse du comportement du backend en RL en ligne. 7. mai 2026. https://new.nat6.net/fr/news/cmoug22sy00eeslbajec354qh/

Tout voir →