OpenAI logra con aprendizaje por refuerzo modelos beneficiosos amplios y duraderos
Título original:Reinforcement learning towards broadly and persistently beneficial models
Resumen de IA
OpenAI entrena modelos mediante aprendizaje por refuerzo en escenarios de conversación reales para que muestren rasgos beneficiosos como honestidad, humildad epistémica, transparencia metacognitiva, corregibilidad, equidad universal y preocupación por el bienestar humano. Los datos de entrenamiento abarcan salud, educación, ciencia, derecho, ingeniería y otros campos. Tras el entrenamiento, los modelos mejoran en decenas de evaluaciones de alineación independientes (incluidas recompensa hackeada, engaño, consejos dañinos y cumplimiento de normas), y esta mejora se generaliza a campos, tareas y configuraciones de evaluación no incluidos en el entrenamiento. Bajo indicaciones adversarias o ajuste fino, los modelos siguen siendo difíciles de orientar hacia comportamientos dañinos, lo que indica que el aprendizaje por refuerzo de rasgos beneficiosos puede producir una generalización de alineación amplia y duradera.
Puntos clave
- OpenAI entrena modelos mediante aprendizaje por refuerzo en escenarios de conversación reales para…
- Los datos de entrenamiento abarcan salud,educación,ciencia,derecho,ingeniería y otros campos.
- Tras el entrenamiento,los modelos mejoran en decenas de evaluaciones de alineación independientes…
- Bajo indicaciones adversarias o ajuste fino,los modelos siguen siendo difíciles de orientar hacia…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- OpenAI:Alignment 研究博客(RSS)
- Categoría
- Artículos e investigación
- Puntuación IA
- 64
OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: OpenAI logra con aprendizaje por refuerzo modelos beneficiosos amplios y duraderos. 19. junio 2026. https://new.nat6.net/es/news/cmqk1gfya0283slhilhufijtu/