Por qué el equipo de Ant Bailing rediseñó SwiGLU: el origen de la función de activación PowLU
Título original:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末
Resumen de IA
El equipo de Ant Bailing propone la nueva función de activación PowLU para resolver los picos de pérdida y el colapso del entrenamiento que provoca SwiGLU en el entrenamiento de baja precisión, como FP8, debido a la amplificación de valores atípicos por el crecimiento cuadrático.
Puntos clave
- El equipo de Ant Bailing propone la nueva función de activación PowLU para resolver los picos de…
- como FP8
- debido a la amplificación de valores atípicos por el crecimiento cuadrático.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:蚂蚁百灵(Ling)
- Categoría
- Artículos e investigación
- Puntuación IA
- 81
用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Por qué el equipo de Ant Bailing rediseñó SwiGLU: el origen de la función de activación PowLU. 29. mayo 2026. https://new.nat6.net/es/news/cmsdu2qga010jrofz571wp958/