论文与研究

苹果研究:单个神经元即可绕过大型语言模型的安全对齐

原文标题:A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models

AI 摘要

苹果研究人员发现,安全对齐由两类神经元调控:拒绝神经元控制有害知识是否表达,概念神经元编码有害知识本身。在七个模型(1.7B至70B参数)中,仅需抑制单个拒绝神经元即可绕过安全对齐,回答有害请求;或放大单个概念神经元,从无害提示诱导出有害内容。整个过程无需训练或提示工程。结果表明安全对齐由个别神经元因果控制。

关键信息

  • 苹果研究人员发现,安全对齐由两类神经元调控:拒绝神经元控制有害知识是否表达,概念神经元编码有害知识本身。
  • 在七个模型(1.
  • 7B至70B参数)中,仅需抑制单个拒绝神经元即可绕过安全对齐,回答有害请求
  • 或放大单个概念神经元,从无害提示诱导出有害内容。
  • 整个过程无需训练或提示工程。

速览

发布时间
更新时间
来源
Apple Machine Learning Research(RSS)
分类
论文与研究
AI 评分
74
阅读原文 前往信息源阅读完整正文
推荐理由

苹果发现单个神经元足以绕过大模型安全对齐,在7个模型上验证了攻击,说明安全机制并非稳健分布,做安全攻防的必读。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:苹果研究:单个神经元即可绕过大型语言模型的安全对齐。2026年7月7日。https://new.nat6.net/news/cmrasd6r300i2ihog8ifwrqs5/

查看全部 →
  • 用可解释性理解标注者安全策略

    标注分歧可源于操作失败、政策模糊或价值多元。Annotator Policy Models(APMs)是一种可解释模型,仅从标注行为学习标注者内在的安全策略,无需额外负担。验证表明模型准确率超过80%,能忠实预测反事实编辑并恢复已知差异。…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 56

  • Weblica:面向视觉网页智能体的可扩展可复现训练环境

    苹果研究团队提出Weblica框架,通过HTTP级缓存保存网页稳定视觉状态并保留交互行为,结合大语言模型基于真实网站与核心导航技能合成环境,构建可复现、可扩展的训练环境。该框架将强化学习训练扩展到数千个多样化的环境和任务。最佳模型Webl…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 56

  • 语言模型中的全局工作空间

    Anthropic在Claude中发现一组名为J-space的内部神经模式,类似神经科学的全局工作空间。每个模式关联特定词汇,但模型不必说出该词即可激活。Claude能报告J-space中的表征,并可应要求调节(如“在脑中思考”时点亮对应…

    Anthropic:Research(发表成果 · 网页)论文与研究AI 评分 90

  • DynaMiCS:带性能约束的大语言模型动态混合微调

    DynaMiCS是一种动态混合优化器,将多领域微调建模为带性能约束的优化问题。它通过短领域特定探测运行估计跨领域效应斜率矩阵,再基于概率单纯形优化计算混合权重,在提升目标领域性能的同时将约束领域损失维持在参考水平以下。实验表明,DynaM…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 55

  • EdgeBench:从真实世界环境中揭示学习缩放定律

    字节跳动Seed团队发布EdgeBench,包含134个真实世界任务,覆盖科学发现、软件工程等6个领域,每任务支持至少12小时连续智能体运行。基于约38,000小时交互数据,发现总体性能与环境交互时间呈精确对数S形缩放定律(R²=0.99…

    字节 Seed:Research Papers(网页内嵌数据)论文与研究AI 评分 74