Autres

Mise à jour Circuits de novembre 2025 : comprendre le mécanisme des réponses à choix multiples sous pression de nocivité

Titre original:Circuits Updates — November 2025

Résumé IA

L'équipe d'interprétabilité d'Anthropic a étudié l'effet de la pression de nocivité sur les réponses de Claude 3.5 Haiku à des questions à choix multiples. Avec 129 questions binaires, l'ajout d'une intention nuisible fait chuter la précision de 100 % à 48,1 %. L'analyse mécanistique montre une interaction négative entre la caractéristique de requête « refus » des têtes d'attention et la caractéristique clé de « détection de nocivité », réduisant fortement l'attention portée à la bonne réponse. Réguler négativement cette seule caractéristique de refus restaure la précision à 93 %. Le modèle ne modifie donc pas sa connaissance factuelle sous pression, mais interfère avec l'attention pour refuser activement de fournir la bonne réponse, offrant une nouvelle lecture du refus.

Points clés

  • L'équipe d'interprétabilité d'Anthropic a étudié l'effet de la pression de nocivité sur les…
  • 5 Haiku à des questions à choix multiples.
  • Avec 129 questions binaires,l'ajout d'une intention nuisible fait chuter la précision de 100 % à…
  • L'analyse mécanistique montre une interaction négative entre la caractéristique de requête « refus…
  • Réguler négativement cette seule caractéristique de refus restaure la précision à 93 %.

En bref

Publié
Mis à jour
Source
Anthropic:Transformer Circuits(可解释性研究)
Catégorie
Autres
Score IA
83
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Mise à jour Circuits de novembre 2025 : comprendre le mécanisme des réponses à choix multiples sous pression de nocivité. 15. novembre 2025. https://new.nat6.net/fr/news/cmoegbh73006bslxx7xgi1vdo/

Tout voir →