捐赠开源对齐工具 Petri
原文标题:Donating our open-source alignment tool
AI 摘要
2025年10月,Anthropic公司开源了AI模型对齐测试工具箱Petri,用于快速检测模型的欺骗、奉承等风险倾向。该工具已成为Claude模型系列对齐评估的核心部分,并被英国AI安全研究所等外部机构采用。近日,Petri升级至3.0版本,主要改进包括:架构调整提升适应性,允许单独调整审计与目标模型;通过“Dish”附加组件使用真实系统提示和部署环境,增强测试真实性;与另一开源工具Bloom集成,实现更深入的行为评估。为确保独立性与公信力,Petri的开发已移交非营利组织Meridian Labs。
关键信息
- 2025年10月,Anthropic公司开源了AI模型对齐测试工具箱Petri,用于快速检测模型的欺骗、奉承等风险倾向。
- 该工具已成为Claude模型系列对齐评估的核心部分,并被英国AI安全研究所等外部机构采用。
- 近日,Petri升级至3.
- 0版本,主要改进包括:架构调整提升适应性,允许单独调整审计与目标模型
- 通过“Dish”附加组件使用真实系统提示和部署环境,增强测试真实性
速览
- 发布时间
- 更新时间
- 分类
- 产品与应用
- AI 评分
- 73
推荐理由
Petri 从 Anthropic 内部工具箱变成行业公共品,捐赠给 Meridian Labs 意味着对齐评估不再绑定一家公司,做安全测试的团队又多了一个可参考的标尺。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:捐赠开源对齐工具 Petri。2026年5月7日。https://new.nat6.net/news/cmow01hfu01nwslcxdc8cl10x/