Anthropic がアラインメント監査を自動実行する3つのエージェントを開発・評価
原題:Building and evaluating alignment auditing agents
AI 要約
Anthropic はアラインメント監査タスクを自律的に実行する3つのエージェントを公開し、欠陥を埋め込んだモデル環境で評価した。調査エージェントは実際の条件下で Marks et al. の監査ゲームを13%の勝率で解き、マルチエージェントで集約すると42%に向上した。評価エージェントは88%の実行で、埋め込み行動のあるモデルとないモデルを区別できた。幅優先のレッドチームエージェントは10個の埋め込み行動のうち7個を発見した。
要点
- Anthropic はアラインメント監査タスクを自律的に実行する3つのエージェントを公開し、欠陥を埋め込んだモデル環境で評価した。
- 調査エージェントは実際の条件下で Marks et al.
- の監査ゲームを13%の勝率で解き、マルチエージェントで集約すると42%に向上した。
- 評価エージェントは88%の実行で、埋め込み行動のあるモデルとないモデルを区別できた。
- 幅優先のレッドチームエージェントは10個の埋め込み行動のうち7個を発見した
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 68
おすすめの理由
Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Anthropic がアラインメント監査を自動実行する3つのエージェントを開発・評価。2025年7月25日。https://new.nat6.net/ja/news/b2vmn7tkytgs01vo5htab6uon/