論文・研究

OpenAI、活性化分類器をトレーニング・展開し最先端モデルの安全監視層に

原題:Training activation classifiers for safety and alignment

AI 要約

OpenAIはGPT-5.6以降、最強モデルの内部・外部トラフィックに活性化分類器(probes)を展開し、モデル内部の活性化をトークンごとにリアルタイムでスコアリングすることで、生成途中で違反応答やツール呼び出しを遮断し推論モデルによる再審査に回せる。実験ではprobesはより大きなテキスト分類器よりもテストしたジェイルブレイク攻撃に堅牢で、精度はモデル能力の向上とともに高まり、ポストトレーニングの各チェックポイント間でも良好に転移した。ただし新しい基盤モデルには再トレーニングが必要で、明示的にトレーニング可能な既知の違反類型しか検出できない。

要点

  • OpenAIはGPT-5.
  • 6以降、最強モデルの内部・外部トラフィックに活性化分類器(probes)を展開し、モデル内部の活性化をトークンごとにリアルタイムでスコアリングすることで、生成途中で違反応答やツール呼び出しを遮断し推…
  • 実験ではprobesはより大きなテキスト分類器よりもテストしたジェイルブレイク攻撃に堅牢で、精度はモデル能力の向上とともに高まり、ポストトレーニングの各チェックポイント間でも良好に転移した。
  • ただし新しい基盤モデルには再トレーニングが必要で、明示的にトレーニング可能な既知の違反類型しか検出できない

概要

公開日時
更新日時
出典
OpenAI:Alignment 研究博客(RSS)
カテゴリ
論文・研究
トピック
OpenAI / ChatGPT安全とアラインメント
AI スコア
63
原文を読む 情報源で全文を読む
おすすめの理由

OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。

関連トピック

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:OpenAI、活性化分類器をトレーニング・展開し最先端モデルの安全監視層に。2026年11月3日。https://new.nat6.net/ja/news/wlmiqh13694tqabyvu6nzvlrs/

すべて見る →