产品与应用

捐赠开源对齐工具 Petri

原文标题:Donating our open-source alignment tool

AI 摘要

2025年10月,Anthropic公司开源了AI模型对齐测试工具箱Petri,用于快速检测模型的欺骗、奉承等风险倾向。该工具已成为Claude模型系列对齐评估的核心部分,并被英国AI安全研究所等外部机构采用。近日,Petri升级至3.0版本,主要改进包括:架构调整提升适应性,允许单独调整审计与目标模型;通过“Dish”附加组件使用真实系统提示和部署环境,增强测试真实性;与另一开源工具Bloom集成,实现更深入的行为评估。为确保独立性与公信力,Petri的开发已移交非营利组织Meridian Labs。

关键信息

  • 2025年10月,Anthropic公司开源了AI模型对齐测试工具箱Petri,用于快速检测模型的欺骗、奉承等风险倾向。
  • 该工具已成为Claude模型系列对齐评估的核心部分,并被英国AI安全研究所等外部机构采用。
  • 近日,Petri升级至3.
  • 0版本,主要改进包括:架构调整提升适应性,允许单独调整审计与目标模型
  • 通过“Dish”附加组件使用真实系统提示和部署环境,增强测试真实性

速览

发布时间
更新时间
来源
Anthropic:Research(发表成果 · 网页)
分类
产品与应用
AI 评分
73
阅读原文 前往信息源阅读完整正文
推荐理由

Petri 从 Anthropic 内部工具箱变成行业公共品,捐赠给 Meridian Labs 意味着对齐评估不再绑定一家公司,做安全测试的团队又多了一个可参考的标尺。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:捐赠开源对齐工具 Petri。2026年5月7日。https://new.nat6.net/news/cmow01hfu01nwslcxdc8cl10x/

查看全部 →
  • Perplexity Agent API 新增金融搜索功能

    Perplexity Agent API 现已提供金融搜索功能。 开发者只需一次工具调用,即可为需要当前可验证金融答案的智能体获取授权金融数据集、实时市场数据和附引用的网络资源。

    X:Perplexity (@perplexity_ai)产品与应用AI 评分 71

  • NotebookLM推出自动标注功能,助力用户高效管理多来源笔记

    NotebookLM为高级用户推出“自动标注”新功能。当笔记本内来源超过五个时,点击该按钮,系统会自动分析所有内容并将其归类为高级别类别,每个来源可拥有多个标签。标签视图不仅便于查找特定来源,还能让用户选择特定标签来聚焦AI,使其回答仅基…

    X:Gemini Notebook (@Gemini_Notebook)产品与应用AI 评分 69

  • ChatGPT for Excel and Google Sheets:

    ChatGPT for Excel and Google Sheets: 它可以帮助分析杂乱数据、编写公式、更新电子表格,并在此过程中解释其操作——无需离开你的电子表格。 由 GPT-5.5 驱动。 https://chatgpt.com…

    X:Greg Brockman (@gdb)产品与应用AI 评分 92

  • 个人智能与Nano Banana 2协同创作图像

    通过个人智能与Nano Banana 2的协同工作,您现在可以将兴趣转化为Gemini中的图像。 请勿错过我们在Discord上的下一次社区活动,届时将有最新版本团队的现场演示和问答环节。 👉加入我们的Discord观看直播:http:/…

    X:Gemini (@GeminiApp)产品与应用AI 评分 67