vLLM от V0 к V1: приоритет корректности поведения бэкенда в онлайн-обучении с подкреплением
Оригинальный заголовок:vLLM V0 to V1: Correctness Before Corrections in RL
ИИ-резюме
Чтобы после масштабной переработки vLLM с 0.8.5 до 0.18.1 результаты онлайн-обучения с подкреплением совпадали с эталонным запуском V0, команда в первую очередь исправляла поведение бэкенда, а не настраивала цели RL. Ключевые исправления: режим логарифмических вероятностей установлен в `processed_logprobs` для соответствия распределению сэмплера; отключены специфичные для V1 значения по умолчанию, такие как префиксный кэш и асинхронное планирование; скорректирован путь обновления весов для соответствия поведению сохранения кэша в V0; а также обеспечено использование `lm_head` в точности fp32 для финальной проекции в бэкенде rollout. Эти меры устранили смещение среднего значения коэффициента политики и позволили V1 достичь соответствия с V0 по таким метрикам, как KL-дивергенция и энтропия.
Ключевые моменты
- Чтобы после масштабной переработки vLLM с 0.
- 1 результаты онлайн-обучения с подкреплением совпадали с эталонным запуском V0,команда в первую…
- Ключевые исправления: режим логарифмических вероятностей установлен в `processed_logprobs` для…
- отключены специфичные для V1 значения по умолчанию,такие как префиксный кэш и асинхронное…
- скорректирован путь обновления весов для соответствия поведению сохранения кэша в V0
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Туториалы и советы
- Оценка ИИ
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: vLLM от V0 к V1: приоритет корректности поведения бэкенда в онлайн-обучении с подкреплением. 7 мая 2026. https://new.nat6.net/ru/news/cmoug22sy00eeslbajec354qh/