GPT-OSSのエージェント強化学習トレーニングを解き明かす:実践的レビュー
原題:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective
AI 要約
LinkedInのチームは、GPT-OSSモデルをエージェントアプリケーションの中核として強化学習を行うことの実現可能性を検討した。実験では、GPT-OSSが採用する混合エキスパートアーキテクチャが2回のフォワードパスでルーティングの差異を生じる可能性があるため、オン・ポリシーのPPOトレーニングにおいて重要度サンプリング比率の逸脱、KLダイバージェンスの爆発、報酬の伸び悩みが発生することが判明した。チームは重要な修正として、オン・ポリシー条件下で旧対数確率を新たに計算した値に強制的に設定し(勾配は分離)、重要度サンプリング比率を1に保つことで、PPOのオン・ポリシートレーニングの完全性を回復した。この修正策はGPT-OSS-20BおよびGPT-OSS-120Bモデルに適用できる。
要点
- LinkedInのチームは、GPT-OSSモデルをエージェントアプリケーションの中核として強化学習を行うことの実現可能性を検討した。
- 実験では、GPT-OSSが採用する混合エキスパートアーキテクチャが2回のフォワードパスでルーティングの差異を生じる可能性があるため、オン・ポリシーのPPOトレーニングにおいて重要度サンプリング比率の…
- チームは重要な修正として、オン・ポリシー条件下で旧対数確率を新たに計算した値に強制的に設定し(勾配は分離)、重要度サンプリング比率を1に保つことで、PPOのオン・ポリシートレーニングの完全性を回復し…
- この修正策はGPT-OSS-20BおよびGPT-OSS-120Bモデルに適用できる
概要
- 公開日時
- 更新日時
- カテゴリ
- その他
- AI スコア
- 83
おすすめの理由
为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:GPT-OSSのエージェント強化学習トレーニングを解き明かす:実践的レビュー。2026年1月27日。https://new.nat6.net/ja/news/cmoegbhak009rslxxdj1fo3aa/