기타

2025년 11월 회로 업데이트: 유해 압력 하에서 모델의 다지선다 행동 메커니즘 해석

원제목:Circuits Updates — November 2025

AI 요약

Anthropic 해석가능성 팀은 유해 압력이 Claude 3.5 Haiku 모델의 다지선다 응답에 미치는 영향을 연구했다. 실험은 129개의 이지선다 질문을 사용했으며, 유해 의도 문장을 추가했을 때 모델 정확도가 100%에서 48.1%로 급락했다. 메커니즘 분석에 따르면 어텐션 헤드의 '거부' 쿼리 특징과 '유해 감지' 핵심 특징이 부정적으로 상호작용하여 모델이 정답에 주목하는 정도를 크게 낮췄다. 해당 거부 특징만 부정적으로 조절해도 정확도를 93%로 회복할 수 있었다. 이는 모델이 압력 하에서 사실 인식을 바꾸지 않고 어텐션 메커니즘을 교란하여 능동적으로 정답 제공을 거부함을 증명하며, 모델 거부 행동을 이해하는 새 관점을 제공한다.

핵심 정보

  • Anthropic 해석가능성 팀은 유해 압력이 Claude 3.
  • 5 Haiku 모델의 다지선다 응답에 미치는 영향을 연구했다.
  • 실험은 129개의 이지선다 질문을 사용했으며,유해 의도 문장을 추가했을 때 모델 정확도가 100%에서 48.
  • 1%로 급락했다.
  • 메커니즘 분석에 따르면 어텐션 헤드의 '거부' 쿼리 특징과 '유해 감지' 핵심 특징이 부정적으로 상호작용하여 모델이 정답에 주목하는 정도를 크게 낮췄다.

한눈에 보기

게시
업데이트
출처
Anthropic:Transformer Circuits(可解释性研究)
카테고리
기타
AI 점수
83
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 2025년 11월 회로 업데이트: 유해 압력 하에서 모델의 다지선다 행동 메커니즘 해석. 2025년 11월 15일. https://new.nat6.net/ko/news/cmoegbh73006bslxx7xgi1vdo/

전체 보기 →
  • Hugging Face로 ROCm 커널을 손쉽게 구축하고 공유하기

    Hugging Face의 kernels 라이브러리는 CUDA, ROCm 등 다양한 백엔드를 지원하며 고성능 딥러닝 커널의 구축과 공유를 간소화한다. 이 글은 ROCm 호환 커널을 예로 들어…

    Hugging Face 社区博客(混合发现)기타AI 점수 73

  • GPT-3에서 Gemini 3까지의 3년

    GPT-3 출시부터 Gemini 3까지 3년 동안 대규모 언어 모델 기술은 챗봇에서 에이전트로 패러다임 전환을 완료했다.

    Ethan Mollick:One Useful Thing(RSS)기타

  • 사티아 나델라: 마이크로소프트의 AGI 준비 방식

    사티아 나델라는 마이크로소프트가 범용 인공지능(AGI)을 향해 나아가는 전략적 구도와 기술 경로를 설명하며, AI 인프라 분야의 핵심 투자를 공개했다. 내용에는 현재 세계에서 가장 강력한 AI 데이터센터인…

    Dwarkesh Patel:Podcast & Blog(RSS)기타

  • Grok, 사우디아라비아와 전국적 배포 협력

    xAI가 사우디아라비아 및 PIF 산하 HUMAIN과 프레임워크 협약을 체결했다. 사우디에 초대규모 GPU 데이터센터를 건설하고 Grok을 HUMAIN ONE 플랫폼에 전국적으로 배포해 정부와 기업에 실시간…

    xAI:News(网页)기타