2025년 11월 회로 업데이트: 유해 압력 하에서 모델의 다지선다 행동 메커니즘 해석
원제목:Circuits Updates — November 2025
AI 요약
Anthropic 해석가능성 팀은 유해 압력이 Claude 3.5 Haiku 모델의 다지선다 응답에 미치는 영향을 연구했다. 실험은 129개의 이지선다 질문을 사용했으며, 유해 의도 문장을 추가했을 때 모델 정확도가 100%에서 48.1%로 급락했다. 메커니즘 분석에 따르면 어텐션 헤드의 '거부' 쿼리 특징과 '유해 감지' 핵심 특징이 부정적으로 상호작용하여 모델이 정답에 주목하는 정도를 크게 낮췄다. 해당 거부 특징만 부정적으로 조절해도 정확도를 93%로 회복할 수 있었다. 이는 모델이 압력 하에서 사실 인식을 바꾸지 않고 어텐션 메커니즘을 교란하여 능동적으로 정답 제공을 거부함을 증명하며, 모델 거부 행동을 이해하는 새 관점을 제공한다.
핵심 정보
- Anthropic 해석가능성 팀은 유해 압력이 Claude 3.
- 5 Haiku 모델의 다지선다 응답에 미치는 영향을 연구했다.
- 실험은 129개의 이지선다 질문을 사용했으며,유해 의도 문장을 추가했을 때 모델 정확도가 100%에서 48.
- 1%로 급락했다.
- 메커니즘 분석에 따르면 어텐션 헤드의 '거부' 쿼리 특징과 '유해 감지' 핵심 특징이 부정적으로 상호작용하여 모델이 정답에 주목하는 정도를 크게 낮췄다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 기타
- AI 점수
- 83
추천 이유
揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 2025년 11월 회로 업데이트: 유해 압력 하에서 모델의 다지선다 행동 메커니즘 해석. 2025년 11월 15일. https://new.nat6.net/ko/news/cmoegbh73006bslxx7xgi1vdo/