Pourquoi l'équipe Ant Ling a repensé SwiGLU : la genèse de la fonction d'activation PowLU
Titre original:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末
Résumé IA
L'équipe Ant Ling propose une nouvelle fonction d'activation, PowLU, pour résoudre les problèmes de Loss Spike et d'effondrement d'entraînement de SwiGLU en entraînement basse précision comme FP8, dus à l'amplification des valeurs aberrantes par la croissance quadratique.
Points clés
- L'équipe Ant Ling propose une nouvelle fonction d'activation
- pour résoudre les problèmes de Loss Spike et d'effondrement d'entraînement de SwiGLU en…
- dus à l'amplification des valeurs aberrantes par la croissance quadratique.
En bref
- Publié
- Mis à jour
- Source
- 公众号:蚂蚁百灵(Ling)
- Catégorie
- Articles et recherche
- Score IA
- 81
用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Pourquoi l'équipe Ant Ling a repensé SwiGLU : la genèse de la fonction d'activation PowLU. 29. mai 2026. https://new.nat6.net/fr/news/cmsdu2qga010jrofz571wp958/