Transformer残差ストリームにおける特権基底ベクトル
原題:Privileged Bases in the Transformer Residual Stream
AI 要約
研究により、Transformerモデルの残差ストリームに「特権基底ベクトル」現象が存在することが判明した。すなわち、特定の座標方向に異常に大きな活性化値が持続的に現れ、「特権基底なし」という理論的予想に反する。実験を通じて、研究者はその根源を層正規化や浮動小数点精度の問題ではなく、Adamオプティマイザー内の次元ごとの正規化器に特定した。2億パラメータのモデルでは、典型的な層で20〜60の次元の活性化絶対値が6を超えていた。研究では尖度を検出指標として使用することも提案し、活性化分布の尖度が一般に3より大きいことを発見し、基底ベクトルの対称性が破られていることをさらに裏付けた。
要点
- 研究により、Transformerモデルの残差ストリームに「特権基底ベクトル」現象が存在することが判明した。
- すなわち、特定の座標方向に異常に大きな活性化値が持続的に現れ、「特権基底なし」という理論的予想に反する。
- 実験を通じて、研究者はその根源を層正規化や浮動小数点精度の問題ではなく、Adamオプティマイザー内の次元ごとの正規化器に特定した。
- 2億パラメータのモデルでは、典型的な層で20〜60の次元の活性化絶対値が6を超えていた。
- 研究では尖度を検出指標として使用することも提案し、活性化分布の尖度が一般に3より大きいことを発見し、基底ベクトルの対称性が破られていることをさらに裏付けた
概要
- 公開日時
- 更新日時
- カテゴリ
- その他
- AI スコア
- 73
おすすめの理由
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Transformer残差ストリームにおける特権基底ベクトル。2023年3月16日。https://new.nat6.net/ja/news/cmoegbh73007aslxxzrbpr56o/