Artículos e investigación

Por qué el equipo de Ant Bailing rediseñó SwiGLU: el origen de la función de activación PowLU

Título original:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末

Resumen de IA

El equipo de Ant Bailing propone la nueva función de activación PowLU para resolver los picos de pérdida y el colapso del entrenamiento que provoca SwiGLU en el entrenamiento de baja precisión, como FP8, debido a la amplificación de valores atípicos por el crecimiento cuadrático.

Puntos clave

  • El equipo de Ant Bailing propone la nueva función de activación PowLU para resolver los picos de…
  • como FP8
  • debido a la amplificación de valores atípicos por el crecimiento cuadrático.

Resumen rápido

Publicado
Actualizado
Fuente
公众号:蚂蚁百灵(Ling)
Categoría
Artículos e investigación
Puntuación IA
81
Leer el original Leer el artículo completo en la fuente original
Por qué importa

用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Por qué el equipo de Ant Bailing rediseñó SwiGLU: el origen de la función de activación PowLU. 29. mayo 2026. https://new.nat6.net/es/news/cmsdu2qga010jrofz571wp958/

Ver todo →