Articles et recherche

Pourquoi l'équipe Ant Ling a repensé SwiGLU : la genèse de la fonction d'activation PowLU

Titre original:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末

Résumé IA

L'équipe Ant Ling propose une nouvelle fonction d'activation, PowLU, pour résoudre les problèmes de Loss Spike et d'effondrement d'entraînement de SwiGLU en entraînement basse précision comme FP8, dus à l'amplification des valeurs aberrantes par la croissance quadratique.

Points clés

  • L'équipe Ant Ling propose une nouvelle fonction d'activation
  • pour résoudre les problèmes de Loss Spike et d'effondrement d'entraînement de SwiGLU en…
  • dus à l'amplification des valeurs aberrantes par la croissance quadratique.

En bref

Publié
Mis à jour
Source
公众号:蚂蚁百灵(Ling)
Catégorie
Articles et recherche
Score IA
81
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Pourquoi l'équipe Ant Ling a repensé SwiGLU : la genèse de la fonction d'activation PowLU. 29. mai 2026. https://new.nat6.net/fr/news/cmsdu2qga010jrofz571wp958/

Tout voir →