Débloquer l'entraînement par apprentissage par renforcement des agents GPT-OSS : un retour d'expérience pratique
Titre original:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective
Résumé IA
L'équipe LinkedIn a exploré la faisabilité de l'apprentissage par renforcement en utilisant le modèle GPT-OSS comme cœur d'applications agentiques. Les expériences ont révélé que, l'architecture mixture-of-experts adoptée par GPT-OSS pouvant produire des différences de routage entre deux propagations avant, l'entraînement PPO on-policy souffre d'une dérive du ratio d'échantillonnage d'importance, d'une explosion de la divergence KL et d'une absence de progression de la récompense. L'équipe a corrigé cela via un correctif clé : forcer, en conditions on-policy, l'ancienne log-probabilité à la nouvelle valeur calculée (avec détachement du gradient), garantissant un ratio d'échantillonnage d'importance de 1 et rétablissant l'intégrité de l'entraînement PPO on-policy. Ce correctif s'applique aux modèles GPT-OSS-20B et GPT-OSS-120B.
Points clés
- L'équipe LinkedIn a exploré la faisabilité de l'apprentissage par renforcement en utilisant le…
- Les expériences ont révélé que,l'architecture mixture-of-experts adoptée par GPT-OSS pouvant…
- L'équipe a corrigé cela via un correctif clé: forcer,en conditions on-policy,l'ancienne…
- Ce correctif s'applique aux modèles GPT-OSS-20B et GPT-OSS-120B.
En bref
- Publié
- Mis à jour
- Source
- Hugging Face 社区博客(混合发现)
- Catégorie
- Autres
- Score IA
- 83
为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Débloquer l'entraînement par apprentissage par renforcement des agents GPT-OSS : un retour d'expérience pratique. 27. janvier 2026. https://new.nat6.net/fr/news/cmoegbhak009rslxxdj1fo3aa/