Туториалы и советы

vLLM от V0 к V1: приоритет корректности поведения бэкенда в онлайн-обучении с подкреплением

Оригинальный заголовок:vLLM V0 to V1: Correctness Before Corrections in RL

ИИ-резюме

Чтобы после масштабной переработки vLLM с 0.8.5 до 0.18.1 результаты онлайн-обучения с подкреплением совпадали с эталонным запуском V0, команда в первую очередь исправляла поведение бэкенда, а не настраивала цели RL. Ключевые исправления: режим логарифмических вероятностей установлен в `processed_logprobs` для соответствия распределению сэмплера; отключены специфичные для V1 значения по умолчанию, такие как префиксный кэш и асинхронное планирование; скорректирован путь обновления весов для соответствия поведению сохранения кэша в V0; а также обеспечено использование `lm_head` в точности fp32 для финальной проекции в бэкенде rollout. Эти меры устранили смещение среднего значения коэффициента политики и позволили V1 достичь соответствия с V0 по таким метрикам, как KL-дивергенция и энтропия.

Ключевые моменты

  • Чтобы после масштабной переработки vLLM с 0.
  • 1 результаты онлайн-обучения с подкреплением совпадали с эталонным запуском V0,команда в первую…
  • Ключевые исправления: режим логарифмических вероятностей установлен в `processed_logprobs` для…
  • отключены специфичные для V1 значения по умолчанию,такие как префиксный кэш и асинхронное…
  • скорректирован путь обновления весов для соответствия поведению сохранения кэша в V0

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Туториалы и советы
Оценка ИИ
65
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: vLLM от V0 к V1: приоритет корректности поведения бэкенда в онлайн-обучении с подкреплением. 7 мая 2026. https://new.nat6.net/ru/news/cmoug22sy00eeslbajec354qh/

Смотреть все →