その他

GPT-OSSのエージェント強化学習トレーニングを解き明かす:実践的レビュー

原題:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective

AI 要約

LinkedInのチームは、GPT-OSSモデルをエージェントアプリケーションの中核として強化学習を行うことの実現可能性を検討した。実験では、GPT-OSSが採用する混合エキスパートアーキテクチャが2回のフォワードパスでルーティングの差異を生じる可能性があるため、オン・ポリシーのPPOトレーニングにおいて重要度サンプリング比率の逸脱、KLダイバージェンスの爆発、報酬の伸び悩みが発生することが判明した。チームは重要な修正として、オン・ポリシー条件下で旧対数確率を新たに計算した値に強制的に設定し(勾配は分離)、重要度サンプリング比率を1に保つことで、PPOのオン・ポリシートレーニングの完全性を回復した。この修正策はGPT-OSS-20BおよびGPT-OSS-120Bモデルに適用できる。

要点

  • LinkedInのチームは、GPT-OSSモデルをエージェントアプリケーションの中核として強化学習を行うことの実現可能性を検討した。
  • 実験では、GPT-OSSが採用する混合エキスパートアーキテクチャが2回のフォワードパスでルーティングの差異を生じる可能性があるため、オン・ポリシーのPPOトレーニングにおいて重要度サンプリング比率の…
  • チームは重要な修正として、オン・ポリシー条件下で旧対数確率を新たに計算した値に強制的に設定し(勾配は分離)、重要度サンプリング比率を1に保つことで、PPOのオン・ポリシートレーニングの完全性を回復し…
  • この修正策はGPT-OSS-20BおよびGPT-OSS-120Bモデルに適用できる

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
その他
AI スコア
83
原文を読む 情報源で全文を読む
おすすめの理由

为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:GPT-OSSのエージェント強化学習トレーニングを解き明かす:実践的レビュー。2026年1月27日。https://new.nat6.net/ja/news/cmoegbhak009rslxxdj1fo3aa/

すべて見る →
  • 中国オープンソースAIエコシステムにおけるアーキテクチャ選択:DeepSeekを超える未来の構築

    Hugging Faceはブログ記事を公開し、中国のオープンソース人工知能エコシステムにおける中核的なアーキテクチャ選択と発展経路を考察した。記事は既存モデル(DeepSeekなど)を超える持続可能な技術体系をいかに構築するかに焦点を当て…

    Hugging Face 社区博客(混合发现)その他AI スコア 83

  • MiniMax Speech 2.8 音声モデル

    MiniMaxは次世代音声モデル「MiniMax Speech 2.8」を発表した。ネイティブ音声タグ技術により、人間の話し言葉における「えー」「あー」などのフィラーワードや呼吸の間を再現し、会話の自然さを大幅に向上させる。10秒のサンプ…

    MiniMax:Blog(网页)その他

  • マネジメントは AI の超能力

    エージェントの時代において、マネジメント能力は人類が繁栄するための核心的な超能力となる。AI が主導する未来では、マネジメントを理解していることが単なる技術能力よりも成否を左右する。

    Ethan Mollick:One Useful Thing(RSS)その他

  • Agentsを使いこなす

    AI Agentsの能力は重要な臨界点に近づいており、その性能の飛躍は従来の働き方の枠を超えている。これにより従事者は仕事の範囲を再定義し、プロジェクト管理プロセスを再構築し、タスク実行戦略を革新することが求められる。需要計画から納品基準…

    Nathan Lambert:Interconnects(RSS)その他

  • Arcee AI、米国で構築するオープンモデルに全力投入

    Arcee AIはオープンソース大規模モデルTrinity Largeをリリースし、米国本土でオープンモデルを構築する戦略的布石に全面的に取り組むことを示した。このリリースはInterconnects第16回インタビューの核心的内容であり…

    Nathan Lambert:Interconnects(RSS)その他