论文与研究

用可解释性理解标注者安全策略

原文标题:Understanding Annotator Safety Policy with Interpretability

AI 摘要

标注分歧可源于操作失败、政策模糊或价值多元。Annotator Policy Models(APMs)是一种可解释模型,仅从标注行为学习标注者内在的安全策略,无需额外负担。验证表明模型准确率超过80%,能忠实预测反事实编辑并恢复已知差异。将APMs应用于LLM和人类标注者,可揭示不同标注者对安全指令解释的差异(政策模糊)以及不同人口群体在安全优先级上的系统性差异(价值多元),支持更具针对性、透明和包容的安全策略设计。

关键信息

  • 标注分歧可源于操作失败、政策模糊或价值多元。
  • Annotator Policy Models(APMs)是一种可解释模型,仅从标注行为学习标注者内在的安全策略,无需额外负担。
  • 验证表明模型准确率超过80%,能忠实预测反事实编辑并恢复已知差异。
  • 将APMs应用于LLM和人类标注者,可揭示不同标注者对安全指令解释的差异(政策模糊)以及不同人口群体在安全优先级上的系统性差异(价值多元),支持更具针对性、透明和包容的安全策略设计
  • 我觉得 APMs 把标注分歧的根源从「猜」变成了「看」,对安全团队澄清政策模糊和价值观差异挺有实操价值,代码也给了,做对齐的可以上手试

速览

发布时间
更新时间
来源
Apple Machine Learning Research(RSS)
分类
论文与研究
AI 评分
56
阅读原文 前往信息源阅读完整正文
推荐理由

我觉得 APMs 把标注分歧的根源从「猜」变成了「看」,对安全团队澄清政策模糊和价值观差异挺有实操价值,代码也给了,做对齐的可以上手试。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:用可解释性理解标注者安全策略。2026年7月6日。https://new.nat6.net/news/cmr9jb1wn007eihe8jhd6zhrj/

查看全部 →
  • 语言模型中的全局工作空间

    Anthropic在Claude中发现一组名为J-space的内部神经模式,类似神经科学的全局工作空间。每个模式关联特定词汇,但模型不必说出该词即可激活。Claude能报告J-space中的表征,并可应要求调节(如“在脑中思考”时点亮对应…

    Anthropic:Research(发表成果 · 网页)论文与研究AI 评分 90

  • 苹果研究:单个神经元即可绕过大型语言模型的安全对齐

    苹果研究人员发现,安全对齐由两类神经元调控:拒绝神经元控制有害知识是否表达,概念神经元编码有害知识本身。在七个模型(1.7B至70B参数)中,仅需抑制单个拒绝神经元即可绕过安全对齐,回答有害请求;或放大单个概念神经元,从无害提示诱导出有害…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 74

  • EdgeBench:从真实世界环境中揭示学习缩放定律

    字节跳动Seed团队发布EdgeBench,包含134个真实世界任务,覆盖科学发现、软件工程等6个领域,每任务支持至少12小时连续智能体运行。基于约38,000小时交互数据,发现总体性能与环境交互时间呈精确对数S形缩放定律(R²=0.99…

    字节 Seed:Research Papers(网页内嵌数据)论文与研究AI 评分 74

  • Weblica:面向视觉网页智能体的可扩展可复现训练环境

    苹果研究团队提出Weblica框架,通过HTTP级缓存保存网页稳定视觉状态并保留交互行为,结合大语言模型基于真实网站与核心导航技能合成环境,构建可复现、可扩展的训练环境。该框架将强化学习训练扩展到数千个多样化的环境和任务。最佳模型Webl…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 56

  • DynaMiCS:带性能约束的大语言模型动态混合微调

    DynaMiCS是一种动态混合优化器,将多领域微调建模为带性能约束的优化问题。它通过短领域特定探测运行估计跨领域效应斜率矩阵,再基于概率单纯形优化计算混合权重,在提升目标领域性能的同时将约束领域损失维持在参考水平以下。实验表明,DynaM…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 55