기타

GPT-OSS의 에이전트 강화학습 훈련 공개: 실전 회고

원제목:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective

AI 요약

LinkedIn 팀은 GPT-OSS 모델을 에이전트 애플리케이션의 핵심으로 삼아 강화학습을 수행하는 가능성을 탐구했다. 실험 결과, GPT-OSS가 채택한 전문가 혼합(MoE) 아키텍처가 두 번의 순전파에서 라우팅 차이를 일으킬 수 있어 동일 정책 PPO 훈련에서 중요도 샘플링 비율이 어긋나고 KL 발산이 폭발하며 보상이 증가하지 않는 문제가 발생했다. 팀은 동일 정책 조건에서 이전 로그 확률을 새로 계산된 값으로 강제 설정하고 그래디언트를 분리하는 핵심 수정을 통해 중요도 샘플링 비율을 1로 보장하여 PPO 동일 정책 훈련의 완전성을 회복했다. 이 수정 방안은 GPT-OSS-20B 및 GPT-OSS-120B 모델에 적용된다.

핵심 정보

  • LinkedIn 팀은 GPT-OSS 모델을 에이전트 애플리케이션의 핵심으로 삼아 강화학습을 수행하는 가능성을 탐구했다.
  • 실험 결과,GPT-OSS가 채택한 전문가 혼합(MoE) 아키텍처가 두 번의 순전파에서 라우팅 차이를 일으킬 수 있어 동일 정책 PPO 훈련에서 중요도 샘플링 비율이 어긋나고…
  • 팀은 동일 정책 조건에서 이전 로그 확률을 새로 계산된 값으로 강제 설정하고 그래디언트를 분리하는 핵심 수정을 통해 중요도 샘플링 비율을 1로 보장하여 PPO 동일 정책 훈련의…
  • 이 수정 방안은 GPT-OSS-20B 및 GPT-OSS-120B 모델에 적용된다.

한눈에 보기

게시
업데이트
출처
Hugging Face 社区博客(混合发现)
카테고리
기타
AI 점수
83
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: GPT-OSS의 에이전트 강화학습 훈련 공개: 실전 회고. 2026년 1월 27일. https://new.nat6.net/ko/news/cmoegbhak009rslxxdj1fo3aa/

전체 보기 →
  • MiniMax Speech 2.8 음성 모델

    MiniMax가 차세대 음성 모델 MiniMax Speech 2.8을 출시했다. 원시 음성 태그 기술로 인간 구어의 "음", "아" 같은 필러와 호흡 멈춤을 모사해 대화 자연스러움을 크게 높였다. 이 모델은…

    MiniMax:Blog(网页)기타

  • 관리는 AI의 초능력

    에이전트 시대에는 관리 능력이 인간이 번영하는 핵심 초능력이 될 것이다. AI가 주도하는 미래에서는 단순한 기술 능력보다 관리할 줄 아는 것이 성패를 더 크게 좌우한다.

    Ethan Mollick:One Useful Thing(RSS)기타

  • Agents 마스터하기

    AI Agents의 능력이 핵심 임계점에 근접하고 있으며 성능 도약이 전통적 업무 방식의 수용 범위를 넘어섰다. 이는 종사자가 업무 범위를 재정의하고 프로젝트 관리 프로세스를 재구성하며 작업 실행 전략을 혁신해야…

    Nathan Lambert:Interconnects(RSS)기타

  • Arcee AI, 미국 내 구축 오픈 모델에 전력 투입

    Arcee AI가 오픈소스 대규모 모델 Trinity Large를 출시하며 미국 본토에서 오픈 모델을 구축하는 전략적 배치에 전면 나섰다. 이번 출시는 Interconnects 16회 인터뷰의 핵심 내용으로 회사의…

    Nathan Lambert:Interconnects(RSS)기타