製品とアプリ

オープンソースのアラインメントツールPetriを寄贈

原題:Donating our open-source alignment tool

AI 要約

2025年10月、AnthropicはAIモデルのアラインメントテストツールボックスPetriをオープンソース化し、モデルの欺瞞や迎合などのリスク傾向を迅速に検出できるようにした。このツールはClaudeモデルシリーズのアラインメント評価の中核部分となっており、英国AI安全研究所などの外部機関にも採用されている。最近、Petriはバージョン3.0にアップグレードされた。主な改善点は、アーキテクチャ調整による適応性の向上(監査モデルと対象モデルを個別に調整可能)、「Dish」アドオンによる実際のシステムプロンプトとデプロイ環境の使用によるテストの現実性向上、別のオープンソースツールBloomとの統合によるより深い行動評価の実現である。独立性と信頼性を確保するため、Petriの開発は非営利組織Meridian Labsに移管された。

要点

  • 2025年10月、AnthropicはAIモデルのアラインメントテストツールボックスPetriをオープンソース化し、モデルの欺瞞や迎合などのリスク傾向を迅速に検出できるようにした。
  • このツールはClaudeモデルシリーズのアラインメント評価の中核部分となっており、英国AI安全研究所などの外部機関にも採用されている。
  • 最近、Petriはバージョン3.
  • 0にアップグレードされた。
  • 主な改善点は、アーキテクチャ調整による適応性の向上(監査モデルと対象モデルを個別に調整可能)、「Dish」アドオンによる実際のシステムプロンプトとデプロイ環境の使用によるテストの現実性向上、別のオー…

概要

公開日時
更新日時
出典
Anthropic:Research(发表成果 · 网页)
カテゴリ
製品とアプリ
AI スコア
73
原文を読む 情報源で全文を読む
おすすめの理由

Petri 从 Anthropic 内部工具箱变成行业公共品,捐赠给 Meridian Labs 意味着对齐评估不再绑定一家公司,做安全测试的团队又多了一个可参考的标尺。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:オープンソースのアラインメントツールPetriを寄贈。2026年5月7日。https://new.nat6.net/ja/news/cmow01hfu01nwslcxdc8cl10x/

すべて見る →
  • Perplexity Agent APIに金融検索機能を追加

    Perplexity Agent APIが金融検索機能を提供開始しました。開発者は1回のツール呼び出しで、現在検証可能な金融回答を必要とするエージェントに、認可された金融データセット、リアルタイム市場データ、引用付きのウェブリソースを提供…

    X:Perplexity (@perplexity_ai)製品とアプリAI スコア 71

  • Excel、PowerPoint、Word、OutlookでClaudeと協働

    Claude for Excel、PowerPoint、Wordが一般提供を開始し、Outlook版は公開ベータとなった。Claudeは4つのMicrosoftアプリ間で会話のコンテキストを継続し、ファイルをまたいだインテリジェントな協働…

    Claude:Blog(网页)製品とアプリAI スコア 85

  • AlphaEvolve:Gemini駆動のコーディングエージェントが分野を越えて影響力を拡大する方法

    AlphaEvolveはGemini大規模モデルに基づくコーディングエージェントを発表し、そのアルゴリズムは複数の分野で実際の影響を生み出している。このエージェントはビジネスプロセス、インフラ最適化、科学研究という3つの重要領域で規模化し…

    Google DeepMind:Blog(RSS)製品とアプリAI スコア 66

  • NotebookLM、自動タグ付け機能を導入、複数ソースのノート管理を効率化

    NotebookLMはプレミアムユーザー向けに「自動タグ付け」新機能を導入した。ノートブック内のソースが5つを超えると、このボタンをクリックするだけでシステムがすべてのコンテンツを自動分析し、高レベルのカテゴリに分類する。各ソースは複数の…

    X:Gemini Notebook (@Gemini_Notebook)製品とアプリAI スコア 69

  • ChatGPT for Excel and Google Sheets

    ChatGPT for Excel and Google Sheets:乱雑なデータの分析、数式の作成、スプレッドシートの更新を、その操作を説明しながら実行できます。スプレッドシートから離れる必要はありません。GPT-5.5を搭載。htt…

    X:Greg Brockman (@gdb)製品とアプリAI スコア 92