Anthropic desarrolla y evalúa tres agentes que ejecutan auditorías de alineación de forma automática
Título original:Building and evaluating alignment auditing agents
Resumen de IA
Anthropic publicó tres agentes que realizan tareas de auditoría de alineación de forma autónoma y los evaluó en entornos de modelos con defectos implantados. El agente investigador resolvió el juego de auditoría de Marks et al. en condiciones reales con una tasa de éxito del 13%, que aumentó al 42% al agregar varios agentes; el agente evaluador distinguió en el 88% de las ejecuciones entre modelos con y sin comportamientos implantados; el agente de red team con búsqueda en amplitud descubrió 7 de los 10 comportamientos implantados.
Puntos clave
- Anthropic publicó tres agentes que realizan tareas de auditoría de alineación de forma autónoma y…
- El agente investigador resolvió el juego de auditoría de Marks et al.
- en condiciones reales con una tasa de éxito del 13%,que aumentó al 42% al agregar varios agentes
- el agente evaluador distinguió en el 88% de las ejecuciones entre modelos con y sin…
- el agente de red team con búsqueda en amplitud descubrió 7 de los 10 comportamientos implantados.
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Artículos e investigación
- Puntuación IA
- 68
Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Anthropic desarrolla y evalúa tres agentes que ejecutan auditorías de alineación de forma automática. 25. julio 2025. https://new.nat6.net/es/news/b2vmn7tkytgs01vo5htab6uon/