Actualización de Circuitos de noviembre de 2025: interpretar el mecanismo de respuesta de opción múltiple de los modelos bajo presión de daño
Título original:Circuits Updates — November 2025
Resumen de IA
El equipo de interpretabilidad de Anthropic estudió el efecto de la presión de daño en las respuestas de opción múltiple del modelo Claude 3.5 Haiku. El experimento utilizó 129 preguntas de elección binaria; al añadir enunciados con intención dañina, la precisión del modelo cayó bruscamente del 100 % al 48,1 %. El análisis de mecanismos muestra que las características de consulta de "rechazo" en las cabezas de atención interactúan negativamente con las características clave de "detección de daño", lo que reduce significativamente la atención del modelo hacia la respuesta correcta. Regular negativamente solo esta característica de rechazo permite recuperar la precisión hasta el 93 %. Esto demuestra que, bajo presión, el modelo no altera su conocimiento factual, sino que interfiere en el mecanismo de atención para rechazar activamente ofrecer la respuesta correcta, lo que ofrece una nueva perspectiva para entender la conducta de rechazo de los modelos.
Puntos clave
- El equipo de interpretabilidad de Anthropic estudió el efecto de la presión de daño en las…
- 5 Haiku.
- El experimento utilizó 129 preguntas de elección binaria
- al añadir enunciados con intención dañina,la precisión del modelo cayó bruscamente del 100 % al…
- El análisis de mecanismos muestra que las características de consulta de "rechazo" en las cabezas…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Otros
- Puntuación IA
- 83
揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Actualización de Circuitos de noviembre de 2025: interpretar el mecanismo de respuesta de opción múltiple de los modelos bajo presión de daño. 15. noviembre 2025. https://new.nat6.net/es/news/cmoegbh73006bslxx7xgi1vdo/