オープンソースのアラインメントツールPetriを寄贈
原題:Donating our open-source alignment tool
AI 要約
2025年10月、AnthropicはAIモデルのアラインメントテストツールボックスPetriをオープンソース化し、モデルの欺瞞や迎合などのリスク傾向を迅速に検出できるようにした。このツールはClaudeモデルシリーズのアラインメント評価の中核部分となっており、英国AI安全研究所などの外部機関にも採用されている。最近、Petriはバージョン3.0にアップグレードされた。主な改善点は、アーキテクチャ調整による適応性の向上(監査モデルと対象モデルを個別に調整可能)、「Dish」アドオンによる実際のシステムプロンプトとデプロイ環境の使用によるテストの現実性向上、別のオープンソースツールBloomとの統合によるより深い行動評価の実現である。独立性と信頼性を確保するため、Petriの開発は非営利組織Meridian Labsに移管された。
要点
- 2025年10月、AnthropicはAIモデルのアラインメントテストツールボックスPetriをオープンソース化し、モデルの欺瞞や迎合などのリスク傾向を迅速に検出できるようにした。
- このツールはClaudeモデルシリーズのアラインメント評価の中核部分となっており、英国AI安全研究所などの外部機関にも採用されている。
- 最近、Petriはバージョン3.
- 0にアップグレードされた。
- 主な改善点は、アーキテクチャ調整による適応性の向上(監査モデルと対象モデルを個別に調整可能)、「Dish」アドオンによる実際のシステムプロンプトとデプロイ環境の使用によるテストの現実性向上、別のオー…
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 73
Petri 从 Anthropic 内部工具箱变成行业公共品,捐赠给 Meridian Labs 意味着对齐评估不再绑定一家公司,做安全测试的团队又多了一个可参考的标尺。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:オープンソースのアラインメントツールPetriを寄贈。2026年5月7日。https://new.nat6.net/ja/news/cmow01hfu01nwslcxdc8cl10x/