Статьи и исследования

Зачем команда Ant Bailing переработала SwiGLU: история появления функции активации PowLU

Оригинальный заголовок:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末

ИИ-резюме

Команда Ant Bailing предложила новую функцию активации PowLU, чтобы решить проблему Loss Spike и краха обучения SwiGLU в низкоточной тренировке, такой как FP8, из-за квадратичного роста, усиливающего выбросы.

Ключевые моменты

  • Команда Ant Bailing предложила новую функцию активации PowLU
  • чтобы решить проблему Loss Spike и краха обучения SwiGLU в низкоточной тренировке
  • такой как FP8,из-за квадратичного роста,усиливающего выбросы.

Кратко

Опубликовано
Обновлено
Источник
公众号:蚂蚁百灵(Ling)
Категория
Статьи и исследования
Оценка ИИ
81
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Зачем команда Ant Bailing переработала SwiGLU: история появления функции активации PowLU. 29 мая 2026. https://new.nat6.net/ru/news/cmsdu2qga010jrofz571wp958/

Смотреть все →