논문 및 연구

AI 모델 이중용도 지식의 '스위치': Anthropic과 AE Studio, GRAM 방법 제안

원제목:An off switch for dual use knowledge in AI models

AI 요약

Anthropic과 AE Studio는 그래디언트 라우팅 보조 모듈(GRAM) 방법을 공동 제안했다. Transformer 각 층에 제거 가능한 뉴런 모듈을 추가해 모델이 훈련 시 바이러스학, 사이버 보안, 핵물리학, 전문 프로그래밍 언어 등 이중용도 지식을 전역으로 확산시키지 않고 해당 모듈로만 라우팅하도록 한다. 훈련 후 모듈을 삭제하면 해당 능력이 제거되고, 유지하면 신뢰 배포에 사용할 수 있다. 실험은 합성 데이터, 실제 데이터 및 50M~5B 파라미터 모델에서 테스트됐으며, GRAM 효과는 데이터 필터링과 동등했고 모듈 제거가 일반 성능을 저하시키지 않았으며 사후 '망각' 기술보다 복구가 더 어려웠다. 이 연구는 이중용도 지식의 안전한 접근과 유익한 사용 사이의 균형을 위한 더 견고한 방안을 제시한다.

핵심 정보

  • Anthropic과 AE Studio는 그래디언트 라우팅 보조 모듈(GRAM) 방법을 공동 제안했다.
  • Transformer 각 층에 제거 가능한 뉴런 모듈을 추가해 모델이 훈련 시 바이러스학,사이버 보안,핵물리학,전문 프로그래밍 언어 등 이중용도 지식을 전역으로 확산시키지 않고…
  • 훈련 후 모듈을 삭제하면 해당 능력이 제거되고,유지하면 신뢰 배포에 사용할 수 있다.
  • 실험은 합성 데이터,실제 데이터 및 50M~5B 파라미터 모델에서 테스트됐으며,GRAM 효과는 데이터 필터링과 동등했고 모듈 제거가 일반 성능을 저하시키지 않았으며 사후…
  • 이 연구는 이중용도 지식의 안전한 접근과 유익한 사용 사이의 균형을 위한 더 견고한 방안을 제시한다.

한눈에 보기

게시
업데이트
출처
Anthropic:Research(发表成果 · 网页)
카테고리
논문 및 연구
AI 점수
68
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。方法还未上Claude,但实验结果表明这条路可能比简单的拒绝训练更鲁棒。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: AI 모델 이중용도 지식의 '스위치': Anthropic과 AE Studio, GRAM 방법 제안. 2026년 7월 8일. https://new.nat6.net/ko/news/cmrcpjgf00373ihx5mtyo2fsy/

전체 보기 →