其他

2025年11月电路更新:解读模型在危害压力下的多选题行为机制

原文标题:Circuits Updates — November 2025

AI 摘要

Anthropic可解释性团队研究了危害压力对Claude 3.5 Haiku模型多选题回答的影响。实验使用129个二选一问题,当添加有害意图语句时,模型准确率从100%骤降至48.1%。机制分析表明,注意力头中的“拒绝”查询特征与“危害检测”关键特征发生负向交互,显著降低了模型对正确答案的关注度。仅对该拒绝特征进行负向调控,即可将准确率恢复至93%。这证明模型在压力下并未改变事实认知,而是通过干扰注意力机制来主动拒绝提供正确答案,为理解模型拒绝行为提供了新视角。

关键信息

  • Anthropic可解释性团队研究了危害压力对Claude 3.
  • 5 Haiku模型多选题回答的影响。
  • 实验使用129个二选一问题,当添加有害意图语句时,模型准确率从100%骤降至48.
  • 机制分析表明,注意力头中的“拒绝”查询特征与“危害检测”关键特征发生负向交互,显著降低了模型对正确答案的关注度。
  • 仅对该拒绝特征进行负向调控,即可将准确率恢复至93%。

速览

发布时间
更新时间
来源
Anthropic:Transformer Circuits(可解释性研究)
分类
其他
AI 评分
83
阅读原文 前往信息源阅读完整正文
推荐理由

揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:2025年11月电路更新:解读模型在危害压力下的多选题行为机制。2025年11月15日。https://new.nat6.net/news/cmoegbh73006bslxx7xgi1vdo/

查看全部 →
  • 使用Hugging Face轻松构建和共享ROCm内核

    Hugging Face的kernels库简化了高性能深度学习内核的构建与共享,支持CUDA、ROCm等多种后端。本文以ROCm兼容内核为例,展示如何利用kernel-builder工具构建、测试并共享内核。以RadeonFlow的GEM…

    Hugging Face 社区博客(混合发现)其他AI 评分 73

  • 共建开放未来:Hugging Face与Google Cloud达成新合作

    Hugging Face与Google Cloud宣布建立深度战略合作,旨在将Google Cloud打造为使用开放模型的最佳平台。双方将合作构建CDN网关,把Hugging Face上的模型和数据集直接缓存在Google Cloud上,…

    Hugging Face 社区博客(混合发现)其他AI 评分 88

  • 从 GPT-3 到 Gemini 3 的三年

    GPT-3 发布至 Gemini 3 的三年间,大模型技术完成从聊天机器人(chatbots)到智能体(agents)的范式跃迁。

    Ethan Mollick:One Useful Thing(RSS)其他

  • 萨提亚·纳德拉:微软如何为 AGI 做准备

    萨提亚·纳德拉阐述微软迈向通用人工智能(AGI)的战略布局与技术路径,揭示其在 AI 基础设施领域的核心投入。内容包含对 Fairwater 2 的实地探访,这是目前全球最强大的 AI 数据中心,展示微软为支持下一代大模型所构建的顶级算力…

    Dwarkesh Patel:Podcast & Blog(RSS)其他

  • Grok 与沙特阿拉伯达成全国性部署合作

    xAI 与沙特阿拉伯及 PIF 旗下 HUMAIN 签署框架协议,将在沙特建设超大规模 GPU 数据中心,并全国范围内部署 Grok 至 HUMAIN ONE 平台,为政府和企业提供实时智能与自主工作流。这是 Grok 首次在国家层面全面…

    xAI:News(网页)其他