Otros

Desbloqueando el entrenamiento de aprendizaje por refuerzo de agentes con GPT-OSS: una revisión práctica

Título original:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective

Resumen de IA

El equipo de LinkedIn exploró la viabilidad de usar el modelo GPT-OSS como núcleo de aplicaciones de agentes para aprendizaje por refuerzo. Los experimentos revelaron que, debido a que la arquitectura de mezcla de expertos de GPT-OSS puede producir diferencias de enrutamiento en dos pases hacia adelante, el entrenamiento PPO on-policy presenta desviaciones en la razón de muestreo de importancia, explosión de la divergencia KL y ausencia de crecimiento de la recompensa. El equipo aplicó una corrección clave: forzar que las log-probabilidades antiguas se establezcan en los valores recién calculados (con gradientes separados) en condiciones on-policy, garantizando una razón de muestreo de importancia de 1 y restaurando así la integridad del entrenamiento PPO on-policy. La corrección es aplicable a los modelos GPT-OSS-20B y GPT-OSS-120B.

Puntos clave

  • El equipo de LinkedIn exploró la viabilidad de usar el modelo GPT-OSS como núcleo de aplicaciones…
  • Los experimentos revelaron que,debido a que la arquitectura de mezcla de expertos de GPT-OSS puede…
  • El equipo aplicó una corrección clave: forzar que las log-probabilidades antiguas se establezcan…
  • La corrección es aplicable a los modelos GPT-OSS-20B y GPT-OSS-120B.

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Otros
Puntuación IA
83
Leer el original Leer el artículo completo en la fuente original
Por qué importa

为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Desbloqueando el entrenamiento de aprendizaje por refuerzo de agentes con GPT-OSS: una revisión práctica. 27. enero 2026. https://new.nat6.net/es/news/cmoegbhak009rslxxdj1fo3aa/

Ver todo →