論文・研究

Anthropic がアラインメント監査を自動実行する3つのエージェントを開発・評価

原題:Building and evaluating alignment auditing agents

AI 要約

Anthropic はアラインメント監査タスクを自律的に実行する3つのエージェントを公開し、欠陥を埋め込んだモデル環境で評価した。調査エージェントは実際の条件下で Marks et al. の監査ゲームを13%の勝率で解き、マルチエージェントで集約すると42%に向上した。評価エージェントは88%の実行で、埋め込み行動のあるモデルとないモデルを区別できた。幅優先のレッドチームエージェントは10個の埋め込み行動のうち7個を発見した。

要点

  • Anthropic はアラインメント監査タスクを自律的に実行する3つのエージェントを公開し、欠陥を埋め込んだモデル環境で評価した。
  • 調査エージェントは実際の条件下で Marks et al.
  • の監査ゲームを13%の勝率で解き、マルチエージェントで集約すると42%に向上した。
  • 評価エージェントは88%の実行で、埋め込み行動のあるモデルとないモデルを区別できた。
  • 幅優先のレッドチームエージェントは10個の埋め込み行動のうち7個を発見した

概要

公開日時
更新日時
出典
Anthropic:Alignment Science Blog(网页)
カテゴリ
論文・研究
AI スコア
68
原文を読む 情報源で全文を読む
おすすめの理由

Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Anthropic がアラインメント監査を自動実行する3つのエージェントを開発・評価。2025年7月25日。https://new.nat6.net/ja/news/b2vmn7tkytgs01vo5htab6uon/

すべて見る →