차분 트랜스포머 V2
원제목:Differential Transformer V2
AI 요약
차분 트랜스포머 V2가 공개되었다. 핵심은 개선된 차분 어텐션 메커니즘이다. V1과 비교해 V2는 키-값 헤드는 그대로 두고 쿼리 헤드 수를 두 배로 늘리며, 차분 연산 후 차원을 축소해 디코딩 시 표준 트랜스포머에 준하는 속도를 달성하면서도 맞춤형 커널이 필요 없다. 새 버전은 또한 V1에서 어텐션 분포가 균일해지며 발생한 수치 불안정 문제, 특히 긴 시퀀스에서 RMSNorm 레이어에 필요했던 거대한 스케일링 팩터를 제거하여 그래디언트 폭발을 방지함으로써 더 안정적인 대규모 사전 훈련을 목표로 한다.
핵심 정보
- 차분 트랜스포머 V2가 공개되었다.
- 핵심은 개선된 차분 어텐션 메커니즘이다.
- V1과 비교해 V2는 키-값 헤드는 그대로 두고 쿼리 헤드 수를 두 배로 늘리며,차분 연산 후 차원을 축소해 디코딩 시 표준 트랜스포머에 준하는 속도를 달성하면서도 맞춤형…
- 새 버전은 또한 V1에서 어텐션 분포가 균일해지며 발생한 수치 불안정 문제,특히 긴 시퀀스에서 RMSNorm 레이어에 필요했던 거대한 스케일링 팩터를 제거하여 그래디언트 폭발을…
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 기타
- AI 점수
- 83
추천 이유
新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 차분 트랜스포머 V2. 2026년 1월 20일. https://new.nat6.net/ko/news/cmoegbhak009uslxxazhwpcva/