その他

2025年11月回路更新:危害圧力下でのモデルの多肢選択行動メカニズムを解読

原題:Circuits Updates — November 2025

AI 要約

Anthropic解釈可能性チームは危害圧力がClaude 3.5 Haikuモデルの多肢選択回答に与える影響を研究した。実験は129の二択問題を使用し、有害意図文を追加するとモデル精度は100%から48.1%へ急落した。メカニズム分析では、注意ヘッド内の「拒否」クエリ特徴と「危害検出」重要特徴が負の相互作用を起こし、モデルの正解への注目度を著しく低下させることが示された。拒否特徴のみを負に調整すると精度は93%まで回復した。これはモデルが圧力下で事実認識を変えたのではなく、注意機構を妨害して正解提供を能動的に拒否することを証明し、モデル拒否行動理解に新視点を提供する。

要点

  • Anthropic解釈可能性チームは危害圧力がClaude 3.
  • 5 Haikuモデルの多肢選択回答に与える影響を研究した。
  • 実験は129の二択問題を使用し、有害意図文を追加するとモデル精度は100%から48.
  • 1%へ急落した。
  • メカニズム分析では、注意ヘッド内の「拒否」クエリ特徴と「危害検出」重要特徴が負の相互作用を起こし、モデルの正解への注目度を著しく低下させることが示された。

概要

公開日時
更新日時
出典
Anthropic:Transformer Circuits(可解释性研究)
カテゴリ
その他
AI スコア
83
原文を読む 情報源で全文を読む
おすすめの理由

揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:2025年11月回路更新:危害圧力下でのモデルの多肢選択行動メカニズムを解読。2025年11月15日。https://new.nat6.net/ja/news/cmoegbh73006bslxx7xgi1vdo/

すべて見る →
  • Hugging FaceでROCmカーネルを簡単に構築・共有

    Hugging Faceのkernelsライブラリは高性能ディープラーニングカーネルの構築と共有を簡素化し、CUDA、ROCmなど複数のバックエンドをサポートする。本記事はROCm互換カーネルを例に、kernel-builderツールを利…

    Hugging Face 社区博客(混合发现)その他AI スコア 73

  • GPT-3 から Gemini 3 までの3年間

    GPT-3 のリリースから Gemini 3 までの3年間で、大規模言語モデル技術はチャットボットからエージェントへのパラダイムシフトを完了した。

    Ethan Mollick:One Useful Thing(RSS)その他

  • サティア・ナデラ:MicrosoftはいかにAGIに備えるか

    サティア・ナデラ氏が、Microsoftの汎用人工知能(AGI)に向けた戦略的布陣と技術的経路を説明し、AIインフラ分野における中核的な投資を明らかにする。内容にはFairwater 2の現地視察が含まれ、これは現在世界で最も強力なAIデ…

    Dwarkesh Patel:Podcast & Blog(RSS)その他

  • Grokがサウジアラビアと全国展開の提携に合意

    xAIはサウジアラビアおよびPIF傘下のHUMAINと枠組み協定を締結し、サウジアラビアに超大规模GPUデータセンターを建設するとともに、GrokをHUMAIN ONEプラットフォームへ全国展開し、政府および企業にリアルタイムインテリジェ…

    xAI:News(网页)その他