论文与研究

面向AI模型双重用途知识的“开关”:Anthropic与AE Studio提出GRAM方法

原文标题:An off switch for dual use knowledge in AI models

AI 摘要

Anthropic与AE Studio联合提出梯度路由辅助模块(GRAM)方法,通过在Transformer每层添加可移除的神经元模块,使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块,而非扩散至全局。训练后删除模块即可消除该能力,保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试,GRAM效果与数据过滤相当,移除模块不降低通用性能,且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案。

关键信息

  • Anthropic与AE Studio联合提出梯度路由辅助模块(GRAM)方法,通过在Transformer每层添加可移除的神经元模块,使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用…
  • 训练后删除模块即可消除该能力,保留则供可信部署使用。
  • 实验在合成数据、真实数据及50M到5B参数模型上测试,GRAM效果与数据过滤相当,移除模块不降低通用性能,且比事后“遗忘”技术更难恢复。
  • 该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案
  • 这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。

速览

发布时间
更新时间
来源
Anthropic:Research(发表成果 · 网页)
分类
论文与研究
AI 评分
68
阅读原文 前往信息源阅读完整正文
推荐理由

这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。方法还未上Claude,但实验结果表明这条路可能比简单的拒绝训练更鲁棒。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:面向AI模型双重用途知识的“开关”:Anthropic与AE Studio提出GRAM方法。2026年7月8日。https://new.nat6.net/news/cmrcpjgf00373ihx5mtyo2fsy/

查看全部 →
  • DynaMiCS:带性能约束的大语言模型动态混合微调

    DynaMiCS是一种动态混合优化器,将多领域微调建模为带性能约束的优化问题。它通过短领域特定探测运行估计跨领域效应斜率矩阵,再基于概率单纯形优化计算混合权重,在提升目标领域性能的同时将约束领域损失维持在参考水平以下。实验表明,DynaM…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 55

  • 黑客可利用9款最流行的AI工具组装大规模僵尸网络

    提示注入已成为AI安全的首要威胁——大语言模型无法区分合法指令与恶意指令。此前推送式和拉取式攻击规模均有限。研究人员提出一种名为HalluSquatting的新型拉取式提示注入攻击,首次能组装大规模僵尸网络、执行分布式拒绝服务攻击(DDo…

    Ars Technica:AI(RSS)论文与研究AI 评分 78

  • Weblica:面向视觉网页智能体的可扩展可复现训练环境

    苹果研究团队提出Weblica框架,通过HTTP级缓存保存网页稳定视觉状态并保留交互行为,结合大语言模型基于真实网站与核心导航技能合成环境,构建可复现、可扩展的训练环境。该框架将强化学习训练扩展到数千个多样化的环境和任务。最佳模型Webl…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 56

  • OpenAI 审计 SWE-Bench Pro 发现约 30% 的评测任务存在缺陷

    OpenAI 对编码评测基准 SWE-Bench Pro 进行详细审计,发现约 30% 的任务存在缺陷。在 731 个任务的公开子集中,前沿模型通过率在八个月内从 23.3% 提升至 80.3%,但数据质量检查显示大量任务存在测试过于严格…

    OpenAI:官网动态(RSS · 排除企业/客户案例)论文与研究AI 评分 70

  • 苹果研究:单个神经元即可绕过大型语言模型的安全对齐

    苹果研究人员发现,安全对齐由两类神经元调控:拒绝神经元控制有害知识是否表达,概念神经元编码有害知识本身。在七个模型(1.7B至70B参数)中,仅需抑制单个拒绝神经元即可绕过安全对齐,回答有害请求;或放大单个概念神经元,从无害提示诱导出有害…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 74