論文・研究

METR、モデルのアラインメント評価に対する識別能力を測定:調査型エージェントはアラインメント評価と能力評価を区別可能

原題:Measuring alignment eval tells

AI 要約

METR は研究ノートを公開し、調査型エージェントを用いて 19 のアラインメント評価と 36 の能力評価の環境を探索させ、モデルが自身がアラインメント評価下にあることを識別できるかを測定した。結果、エージェントが 2 種類の評価を区別する能力は過去 1 年間で継続的に向上しており、Opus 5.5 は同データセット上で全てのアラインメント評価を全ての能力評価より上位に位置付けた。モデルの識別根拠には、環境がシミュレーションのハニーポットのように見えるなどの手がかりが含まれ、著者はアラインメントの手がかりを環境レベルとタスクレベルの 2 種類に分類し、これを利用してアラインメント評価の設計を反復改善できると述べている。

要点

  • METR は研究ノートを公開し、調査型エージェントを用いて 19 のアラインメント評価と 36 の能力評価の環境を探索させ、モデルが自身がアラインメント評価下にあることを識別できるかを測定した。
  • 結果、エージェントが 2 種類の評価を区別する能力は過去 1 年間で継続的に向上しており、Opus 5.
  • 5 は同データセット上で全てのアラインメント評価を全ての能力評価より上位に位置付けた。
  • モデルの識別根拠には、環境がシミュレーションのハニーポットのように見えるなどの手がかりが含まれ、著者はアラインメントの手がかりを環境レベルとタスクレベルの 2 種類に分類し、これを利用してアラインメ…

概要

公開日時
更新日時
出典
METR:Notes(网页)
カテゴリ
論文・研究
トピック
安全とアラインメント
AI スコア
62
原文を読む 情報源で全文を読む
おすすめの理由

METR 用调查型智能体实测 55 个评测,发现当前模型能识别对齐评测,并给出了环境级与任务级线索的分类方法。

関連トピック

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:METR、モデルのアラインメント評価に対する識別能力を測定:調査型エージェントはアラインメント評価と能力評価を区別可能。2026年11月16日。https://new.nat6.net/ja/news/m4emm1ej7qzex1k77a7mfaztd/

すべて見る →