Otros

Actualización de Circuitos de noviembre de 2025: interpretar el mecanismo de respuesta de opción múltiple de los modelos bajo presión de daño

Título original:Circuits Updates — November 2025

Resumen de IA

El equipo de interpretabilidad de Anthropic estudió el efecto de la presión de daño en las respuestas de opción múltiple del modelo Claude 3.5 Haiku. El experimento utilizó 129 preguntas de elección binaria; al añadir enunciados con intención dañina, la precisión del modelo cayó bruscamente del 100 % al 48,1 %. El análisis de mecanismos muestra que las características de consulta de "rechazo" en las cabezas de atención interactúan negativamente con las características clave de "detección de daño", lo que reduce significativamente la atención del modelo hacia la respuesta correcta. Regular negativamente solo esta característica de rechazo permite recuperar la precisión hasta el 93 %. Esto demuestra que, bajo presión, el modelo no altera su conocimiento factual, sino que interfiere en el mecanismo de atención para rechazar activamente ofrecer la respuesta correcta, lo que ofrece una nueva perspectiva para entender la conducta de rechazo de los modelos.

Puntos clave

  • El equipo de interpretabilidad de Anthropic estudió el efecto de la presión de daño en las…
  • 5 Haiku.
  • El experimento utilizó 129 preguntas de elección binaria
  • al añadir enunciados con intención dañina,la precisión del modelo cayó bruscamente del 100 % al…
  • El análisis de mecanismos muestra que las características de consulta de "rechazo" en las cabezas…

Resumen rápido

Publicado
Actualizado
Fuente
Anthropic:Transformer Circuits(可解释性研究)
Categoría
Otros
Puntuación IA
83
Leer el original Leer el artículo completo en la fuente original
Por qué importa

揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Actualización de Circuitos de noviembre de 2025: interpretar el mecanismo de respuesta de opción múltiple de los modelos bajo presión de daño. 15. noviembre 2025. https://new.nat6.net/es/news/cmoegbh73006bslxx7xgi1vdo/

Ver todo →