LinkedIn 팀은 GPT-OSS 모델을 에이전트 애플리케이션의 핵심으로 삼아 강화학습을 수행하는 가능성을 탐구했다. 실험 결과, GPT-OSS가 채택한 전문가 혼합(MoE) 아키텍처가 두 번의 순전파에서 라우팅 차이를 일으킬 수 있어 동일 정책 PPO 훈련에서 중요도 샘플링 비율이 어긋나고 KL 발산이 폭발하며 보상이 증가하지 않는 문제가 발생했다. 팀은 동일 정책 조건에서 이전 로그 확률을 새로 계산된 값으로 강제 설정하고 그래디언트를 분리하는 핵심 수정을 통해 중요도 샘플링 비율을 1로 보장하여 PPO 동일 정책 훈련의 완전성을 회복했다. 이 수정 방안은 GPT-OSS-20B 및 GPT-OSS-120B 모델에 적용된다.
핵심 정보
LinkedIn 팀은 GPT-OSS 모델을 에이전트 애플리케이션의 핵심으로 삼아 강화학습을 수행하는 가능성을 탐구했다.
실험 결과,GPT-OSS가 채택한 전문가 혼합(MoE) 아키텍처가 두 번의 순전파에서 라우팅 차이를 일으킬 수 있어 동일 정책 PPO 훈련에서 중요도 샘플링 비율이 어긋나고…
팀은 동일 정책 조건에서 이전 로그 확률을 새로 계산된 값으로 강제 설정하고 그래디언트를 분리하는 핵심 수정을 통해 중요도 샘플링 비율을 1로 보장하여 PPO 동일 정책 훈련의…