2025年11月电路更新:解读模型在危害压力下的多选题行为机制
原文标题:Circuits Updates — November 2025
AI 摘要
Anthropic可解释性团队研究了危害压力对Claude 3.5 Haiku模型多选题回答的影响。实验使用129个二选一问题,当添加有害意图语句时,模型准确率从100%骤降至48.1%。机制分析表明,注意力头中的“拒绝”查询特征与“危害检测”关键特征发生负向交互,显著降低了模型对正确答案的关注度。仅对该拒绝特征进行负向调控,即可将准确率恢复至93%。这证明模型在压力下并未改变事实认知,而是通过干扰注意力机制来主动拒绝提供正确答案,为理解模型拒绝行为提供了新视角。
关键信息
- Anthropic可解释性团队研究了危害压力对Claude 3.
- 5 Haiku模型多选题回答的影响。
- 实验使用129个二选一问题,当添加有害意图语句时,模型准确率从100%骤降至48.
- 机制分析表明,注意力头中的“拒绝”查询特征与“危害检测”关键特征发生负向交互,显著降低了模型对正确答案的关注度。
- 仅对该拒绝特征进行负向调控,即可将准确率恢复至93%。
速览
- 发布时间
- 更新时间
- 分类
- 其他
- AI 评分
- 83
推荐理由
揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:2025年11月电路更新:解读模型在危害压力下的多选题行为机制。2025年11月15日。https://new.nat6.net/news/cmoegbh73006bslxx7xgi1vdo/