Artículos e investigación

OpenAI logra con aprendizaje por refuerzo modelos beneficiosos amplios y duraderos

Título original:Reinforcement learning towards broadly and persistently beneficial models

Resumen de IA

OpenAI entrena modelos mediante aprendizaje por refuerzo en escenarios de conversación reales para que muestren rasgos beneficiosos como honestidad, humildad epistémica, transparencia metacognitiva, corregibilidad, equidad universal y preocupación por el bienestar humano. Los datos de entrenamiento abarcan salud, educación, ciencia, derecho, ingeniería y otros campos. Tras el entrenamiento, los modelos mejoran en decenas de evaluaciones de alineación independientes (incluidas recompensa hackeada, engaño, consejos dañinos y cumplimiento de normas), y esta mejora se generaliza a campos, tareas y configuraciones de evaluación no incluidos en el entrenamiento. Bajo indicaciones adversarias o ajuste fino, los modelos siguen siendo difíciles de orientar hacia comportamientos dañinos, lo que indica que el aprendizaje por refuerzo de rasgos beneficiosos puede producir una generalización de alineación amplia y duradera.

Puntos clave

  • OpenAI entrena modelos mediante aprendizaje por refuerzo en escenarios de conversación reales para…
  • Los datos de entrenamiento abarcan salud,educación,ciencia,derecho,ingeniería y otros campos.
  • Tras el entrenamiento,los modelos mejoran en decenas de evaluaciones de alineación independientes…
  • Bajo indicaciones adversarias o ajuste fino,los modelos siguen siendo difíciles de orientar hacia…

Resumen rápido

Publicado
Actualizado
Fuente
OpenAI:Alignment 研究博客(RSS)
Categoría
Artículos e investigación
Puntuación IA
64
Leer el original Leer el artículo completo en la fuente original
Por qué importa

OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: OpenAI logra con aprendizaje por refuerzo modelos beneficiosos amplios y duraderos. 19. junio 2026. https://new.nat6.net/es/news/cmqk1gfya0283slhilhufijtu/

Ver todo →