Artículos e investigación

Anthropic permite que Claude entrene modelos de forma autónoma para mitigar fallos de alineación

Título original:Automated researchers can reliably mitigate alignment failures

Resumen de IA

Anthropic permite que Claude entrene modelos de forma autónoma para mitigar 10 tipos de fallos de alineación, como el engaño y la adulación, y en todos ellos reduce notablemente la brecha de seguridad respecto a un rendimiento perfecto sin dañar las capacidades generales; el método sigue siendo eficaz en modelos 4,7 veces mayores que el objeto de optimización. Claude también superó a 28 investigadores humanos de seguridad, y su mejor método en escenarios de engaño fue un 20% mejor que la mejor solución humana.

Puntos clave

  • Anthropic permite que Claude entrene modelos de forma autónoma para mitigar 10 tipos de fallos de…
  • el método sigue siendo eficaz en modelos 4,7 veces mayores que el objeto de optimización.
  • Claude también superó a 28 investigadores humanos de seguridad,y su mejor método en escenarios de…

Resumen rápido

Publicado
Actualizado
Fuente
Anthropic:Research(发表成果 · 网页)
Categoría
Artículos e investigación
Puntuación IA
78
Leer el original Leer el artículo completo en la fuente original
Por qué importa

自动化对齐研究把安全训练从一次性微调变成可迭代搜索,Claude Sonnet 5 用约两千条训练样本在 60 小时内接近生产对齐水平,数据效率比现有生产流程高约一万五千倍。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Anthropic permite que Claude entrene modelos de forma autónoma para mitigar fallos de alineación. 28. agosto 2026. https://new.nat6.net/es/news/cmtd83hb4018fro667i1tbc34/

Ver todo →