Anthropic 开发并评估三个自动执行对齐审计的智能体
原文标题:Building and evaluating alignment auditing agents
AI 摘要
Anthropic 发布三个自主执行对齐审计任务的智能体,并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈,多智能体聚合后提升到 42%;评估智能体在 88% 的运行中能区分有/无植入行为的模型;广度优先红队智能体发现 10 个植入行为中的 7 个。
关键信息
- Anthropic 发布三个自主执行对齐审计任务的智能体,并用含植入缺陷的模型环境进行评估。
- 调查智能体在真实条件下以 13% 的胜率解开 Marks et al.
- 审计博弈,多智能体聚合后提升到 42%
- 评估智能体在 88% 的运行中能区分有/无植入行为的模型
- 广度优先红队智能体发现 10 个植入行为中的 7 个
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 68
推荐理由
Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Anthropic 开发并评估三个自动执行对齐审计的智能体。2025年7月25日。https://new.nat6.net/news/b2vmn7tkytgs01vo5htab6uon/