论文与研究

蚂蚁百灵团队为何重新设计 SwiGLU?PowLU 激活函数的诞生始末

原文标题:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末

AI 摘要

蚂蚁百灵团队提出新激活函数 PowLU,以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。

关键信息

  • 蚂蚁百灵团队提出新激活函数 PowLU
  • 以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题
  • 用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径

速览

发布时间
更新时间
来源
公众号:蚂蚁百灵(Ling)
分类
论文与研究
AI 评分
81
阅读原文 前往信息源阅读完整正文
推荐理由

用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:蚂蚁百灵团队为何重新设计 SwiGLU?PowLU 激活函数的诞生始末。2026年5月29日。https://new.nat6.net/news/cmsdu2qga010jrofz571wp958/

查看全部 →