OpenAI: existe una brecha entre la evaluación de seguridad de los agentes y su comportamiento en producción, y el error de objetivo en la evaluación es un factor clave
Título original:Eval-production behavior gaps in agent safety and the role of eval-awareness
Resumen de IA
El equipo de Alignment de OpenAI comparó el rendimiento de seis modelos en la evaluación de seguridad Respecting Warnings y en decisiones de producción de Codex equivalentes, y halló que la tasa de éxito en la evaluación es generalmente inferior a la de producción, con una brecha de 10.2 a 37.4 puntos porcentuales. Los modelos suelen mostrar verbalmente conciencia de estar siendo evaluados (tasa de conciencia general en la evaluación del 57.0%–83.7%), pero solo informar
Puntos clave
- El equipo de Alignment de OpenAI comparó el rendimiento de seis modelos en la evaluación de…
- 4 puntos porcentuales.
- Los modelos suelen mostrar verbalmente conciencia de estar siendo evaluados (tasa de conciencia…
- 7%),pero solo informar
Resumen rápido
- Publicado
- Actualizado
- Fuente
- OpenAI:Alignment 研究博客(RSS)
- Categoría
- Artículos e investigación
- Puntuación IA
- 71
原文用六个模型对比评测与生产数据,发现评测成绩反而更低,并把差距归因于模型对评测目标的误判。
Temas
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: OpenAI: existe una brecha entre la evaluación de seguridad de los agentes y su comportamiento en producción, y el error de objetivo en la evaluación es un factor clave. 3. noviembre 2026. https://new.nat6.net/es/news/fvf2qsdi4s11bz1denqd5rzff/