蚂蚁百灵团队为何重新设计 SwiGLU?PowLU 激活函数的诞生始末
原文标题:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末
AI 摘要
蚂蚁百灵团队提出新激活函数 PowLU,以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
关键信息
- 蚂蚁百灵团队提出新激活函数 PowLU
- 以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题
- 用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 81
推荐理由
用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:蚂蚁百灵团队为何重新设计 SwiGLU?PowLU 激活函数的诞生始末。2026年5月29日。https://new.nat6.net/news/cmsdu2qga010jrofz571wp958/