Transformer 잔차 흐름의 특권 기저 벡터
원제목:Privileged Bases in the Transformer Residual Stream
AI 요약
연구에 따르면 Transformer 모델의 잔차 흐름에 '특권 기저 벡터' 현상이 존재한다. 즉 일부 좌표 방향에서 지속적으로 비정상적으로 큰 활성값이 나타나며, 이는 '특권 기저 없음'이라는 이론적 예상과 상충한다. 실험을 통해 연구자들은 원인을 레이어 정규화나 부동소수점 정밀도 문제가 아닌 Adam 옵티마이저의 차원별 정규화기로 지목했다. 2억 파라미터 모델에서 전형적인 계층은 20~60개 차원의 활성 절댓값이 6을 초과했다. 연구는 또한 첨도를 탐지 지표로 사용할 것을 제안했으며, 활성 분포 첨도가 보편적으로 3보다 크다는 점을 발견해 기저 벡터 대칭성이 깨졌음을 추가로 확인했다.
핵심 정보
- 연구에 따르면 Transformer 모델의 잔차 흐름에 '특권 기저 벡터' 현상이 존재한다.
- 즉 일부 좌표 방향에서 지속적으로 비정상적으로 큰 활성값이 나타나며,이는 '특권 기저 없음'이라는 이론적 예상과 상충한다.
- 실험을 통해 연구자들은 원인을 레이어 정규화나 부동소수점 정밀도 문제가 아닌 Adam 옵티마이저의 차원별 정규화기로 지목했다.
- 2억 파라미터 모델에서 전형적인 계층은 20~60개 차원의 활성 절댓값이 6을 초과했다.
- 연구는 또한 첨도를 탐지 지표로 사용할 것을 제안했으며,활성 분포 첨도가 보편적으로 3보다 크다는 점을 발견해 기저 벡터 대칭성이 깨졌음을 추가로 확인했다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 기타
- AI 점수
- 73
추천 이유
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: Transformer 잔차 흐름의 특권 기저 벡터. 2023년 3월 16일. https://new.nat6.net/ko/news/cmoegbh73007aslxxzrbpr56o/