vLLM V0에서 V1으로: 온라인 강화학습에서 백엔드 동작 정확성 우선
원제목:vLLM V0 to V1: Correctness Before Corrections in RL
AI 요약
vLLM이 0.8.5에서 0.18.1로 대대적으로 재작성된 후 온라인 강화학습 훈련 결과가 V0 참조 실행과 일치하도록, 팀은 RL 목표 조정보다 백엔드 동작 수정을 우선했다. 핵심 수정으로는 로그 확률 모드를 `processed_logprobs`로 설정해 샘플러 분포와 일치시키고, V1 특유의 프리픽스 캐시와 비동기 스케줄링 등 런타임 기본값을 비활성화했으며, 가중치 업데이트 경로를 조정해 V0의 캐시 보존 동작과 일치시키고, 롤아웃 백엔드가 최종 투영에 fp32 정밀도의 `lm_head`를 사용하도록 보장했다. 이러한 조치로 정책 비율 평균 편향이 제거돼 V1이 KL 발산, 엔트로피 등 지표에서 V0와 일치하게 됐다.
핵심 정보
- vLLM이 0.
- 1로 대대적으로 재작성된 후 온라인 강화학습 훈련 결과가 V0 참조 실행과 일치하도록,팀은 RL 목표 조정보다 백엔드 동작 수정을 우선했다.
- 핵심 수정으로는 로그 확률 모드를 `processed_logprobs`로 설정해 샘플러 분포와 일치시키고,V1 특유의 프리픽스 캐시와 비동기 스케줄링 등 런타임 기본값을…
- 이러한 조치로 정책 비율 평균 편향이 제거돼 V1이 KL 발산,엔트로피 등 지표에서 V0와 일치하게 됐다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 튜토리얼 및 팁
- AI 점수
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: vLLM V0에서 V1으로: 온라인 강화학습에서 백엔드 동작 정확성 우선. 2026년 5월 7일. https://new.nat6.net/ko/news/cmoug22sy00eeslbajec354qh/