Transformer残差流中的特权基向量
原文标题:Privileged Bases in the Transformer Residual Stream
AI 摘要
研究发现Transformer模型的残差流中存在“特权基向量”现象,即某些坐标方向持续出现异常大的激活值,这与“无特权基”的理论预期相悖。通过实验,研究者将根源指向Adam优化器中的逐维度归一化器,而非层归一化或浮点精度问题。在2亿参数模型中,典型层有20至60个维度的激活绝对值超过6。研究还提出使用峰度作为检测指标,发现激活分布峰度普遍大于3,进一步证实了基向量对称性被破坏。
关键信息
- 研究发现Transformer模型的残差流中存在“特权基向量”现象,即某些坐标方向持续出现异常大的激活值,这与“无特权基”的理论预期相悖。
- 通过实验,研究者将根源指向Adam优化器中的逐维度归一化器,而非层归一化或浮点精度问题。
- 在2亿参数模型中,典型层有20至60个维度的激活绝对值超过6。
- 研究还提出使用峰度作为检测指标,发现激活分布峰度普遍大于3,进一步证实了基向量对称性被破坏
- 揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性
速览
- 发布时间
- 更新时间
- 分类
- 其他
- AI 评分
- 73
推荐理由
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Transformer残差流中的特权基向量。2023年3月16日。https://new.nat6.net/news/cmoegbh73007aslxxzrbpr56o/