튜토리얼 및 팁

vLLM V0에서 V1으로: 온라인 강화학습에서 백엔드 동작 정확성 우선

원제목:vLLM V0 to V1: Correctness Before Corrections in RL

AI 요약

vLLM이 0.8.5에서 0.18.1로 대대적으로 재작성된 후 온라인 강화학습 훈련 결과가 V0 참조 실행과 일치하도록, 팀은 RL 목표 조정보다 백엔드 동작 수정을 우선했다. 핵심 수정으로는 로그 확률 모드를 `processed_logprobs`로 설정해 샘플러 분포와 일치시키고, V1 특유의 프리픽스 캐시와 비동기 스케줄링 등 런타임 기본값을 비활성화했으며, 가중치 업데이트 경로를 조정해 V0의 캐시 보존 동작과 일치시키고, 롤아웃 백엔드가 최종 투영에 fp32 정밀도의 `lm_head`를 사용하도록 보장했다. 이러한 조치로 정책 비율 평균 편향이 제거돼 V1이 KL 발산, 엔트로피 등 지표에서 V0와 일치하게 됐다.

핵심 정보

  • vLLM이 0.
  • 1로 대대적으로 재작성된 후 온라인 강화학습 훈련 결과가 V0 참조 실행과 일치하도록,팀은 RL 목표 조정보다 백엔드 동작 수정을 우선했다.
  • 핵심 수정으로는 로그 확률 모드를 `processed_logprobs`로 설정해 샘플러 분포와 일치시키고,V1 특유의 프리픽스 캐시와 비동기 스케줄링 등 런타임 기본값을…
  • 이러한 조치로 정책 비율 평균 편향이 제거돼 V1이 KL 발산,엔트로피 등 지표에서 V0와 일치하게 됐다.

한눈에 보기

게시
업데이트
출처
Hugging Face 社区博客(混合发现)
카테고리
튜토리얼 및 팁
AI 점수
65
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: vLLM V0에서 V1으로: 온라인 강화학습에서 백엔드 동작 정확성 우선. 2026년 5월 7일. https://new.nat6.net/ko/news/cmoug22sy00eeslbajec354qh/

전체 보기 →