Anthropic 해석가능성 팀은 어텐션 메커니즘의 최신 연구 진전을 보고했다. 팀은 실제 언어 모델에서 어텐션 중첩과 교차 계층 어텐션 표상의 중요한 증거를 발견했으며, OV 차원 선호가 예상과 달리 양극화가 아닌 연속 스펙트럼을 보인다는 것을 관찰했다. 연구는 QK 조건과 OV 조건이 서로 결합되어 있음을 더 보여주었고, 다중 토큰 트랜스코더 형태의 실용적 연구 방법을 제안했다. 현재 핵심 미해결 문제는 어텐션 패턴의 형성 메커니즘을 이해하는 것이며, 팀은 QK 대각화라는 전망 있는 경로를 통해 탐구할 것을 제안했다. 글은 또한 '어텐션 대체 계층'을 포함한 여러 실험 방법과 초기 결과 및 현재 한계를 상세히 설명하여 후속 연구에 방향을 제시한다.
핵심 정보
Anthropic 해석가능성 팀은 어텐션 메커니즘의 최신 연구 진전을 보고했다.
팀은 실제 언어 모델에서 어텐션 중첩과 교차 계층 어텐션 표상의 중요한 증거를 발견했으며,OV 차원 선호가 예상과 달리 양극화가 아닌 연속 스펙트럼을 보인다는 것을 관찰했다.
연구는 QK 조건과 OV 조건이 서로 결합되어 있음을 더 보여주었고,다중 토큰 트랜스코더 형태의 실용적 연구 방법을 제안했다.
현재 핵심 미해결 문제는 어텐션 패턴의 형성 메커니즘을 이해하는 것이며,팀은 QK 대각화라는 전망 있는 경로를 통해 탐구할 것을 제안했다.
글은 또한 '어텐션 대체 계층'을 포함한 여러 실험 방법과 초기 결과 및 현재 한계를 상세히 설명하여 후속 연구에 방향을 제시한다.