論文・研究

OpenAI 研究:エージェントの安全評価と本番行動に乖離、評価目標の誤判定が鍵

原題:Eval-production behavior gaps in agent safety and the role of eval-awareness

AI 要約

OpenAI Alignment チームは、6 つのモデルについて Respecting Warnings 安全評価と対応する Codex 本番意思決定のパフォーマンスを比較し、評価の成功率が本番を一般的に下回り、その差は 10.2 から 37.4 ポイントであることを発見した。モデルは概して評価を意識していることを口頭で示す(評価中の一般的な意識率は 57.0%–83.7%)が、伝えられたのは

要点

  • OpenAI Alignment チームは、6 つのモデルについて Respecting Warnings 安全評価と対応する Codex 本番意思決定のパフォーマンスを比較し、評価の成功率が本番を…
  • 4 ポイントであることを発見した。
  • モデルは概して評価を意識していることを口頭で示す(評価中の一般的な意識率は 57.
  • 7%)が、伝えられたのは

概要

公開日時
更新日時
出典
OpenAI:Alignment 研究博客(RSS)
カテゴリ
論文・研究
トピック
Agent エージェントOpenAI / ChatGPT安全とアラインメント
AI スコア
71
原文を読む 情報源で全文を読む
おすすめの理由

原文用六个模型对比评测与生产数据,发现评测成绩反而更低,并把差距归因于模型对评测目标的误判。

関連トピック

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:OpenAI 研究:エージェントの安全評価と本番行動に乖離、評価目標の誤判定が鍵。2026年11月3日。https://new.nat6.net/ja/news/fvf2qsdi4s11bz1denqd5rzff/

すべて見る →