Tutoriales y consejos

vLLM V0 a V1: priorizar la corrección del comportamiento del backend en el aprendizaje por refuerzo en línea

Título original:vLLM V0 to V1: Correctness Before Corrections in RL

Resumen de IA

Para garantizar que, tras la importante reescritura de vLLM de 0.8.5 a 0.18.1, los resultados del entrenamiento de aprendizaje por refuerzo en línea coincidan con la ejecución de referencia de V0, el equipo priorizó corregir el comportamiento del backend en lugar de ajustar los objetivos de RL. Las correcciones clave incluyen: establecer el modo de log-probabilidades en `processed_logprobs` para coincidir con la distribución del muestreador; desactivar valores predeterminados de ejecución propios de V1, como la caché de prefijos y la programación asíncrona; ajustar la ruta de actualización de pesos para que coincida con el comportamiento de conservación de caché de V0; y asegurar que el backend de rollout use un `lm_head` con precisión fp32 para la proyección final. Estas medidas eliminan el sesgo medio de la ratio de política y hacen que V1 coincida con V0 en métricas como la divergencia KL y la entropía.

Puntos clave

  • Para garantizar que,tras la importante reescritura de vLLM de 0.
  • 1,los resultados del entrenamiento de aprendizaje por refuerzo en línea coincidan con la ejecución…
  • Las correcciones clave incluyen: establecer el modo de log-probabilidades en `processed_logprobs`…
  • desactivar valores predeterminados de ejecución propios de V1,como la caché de prefijos y la…
  • ajustar la ruta de actualización de pesos para que coincida con el comportamiento de conservación…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Tutoriales y consejos
Puntuación IA
65
Leer el original Leer el artículo completo en la fuente original
Por qué importa

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: vLLM V0 a V1: priorizar la corrección del comportamiento del backend en el aprendizaje por refuerzo en línea. 7. mayo 2026. https://new.nat6.net/es/news/cmoug22sy00eeslbajec354qh/

Ver todo →