Makalah & Riset

Mengapa tim Ant Ling mendesain ulang SwiGLU? Kisah lahirnya fungsi aktivasi PowLU

Judul asli:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末

Ringkasan AI

Tim Ant Ling mengusulkan fungsi aktivasi baru PowLU untuk mengatasi masalah Loss Spike dan keruntuhan pelatihan pada SwiGLU akibat pertumbuhan kuadratik yang memperbesar nilai anomali dalam pelatihan presisi rendah seperti FP8.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:蚂蚁百灵(Ling)
Kategori
Makalah & Riset
Skor AI
81
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Mengapa tim Ant Ling mendesain ulang SwiGLU? Kisah lahirnya fungsi aktivasi PowLU. 29 Mei 2026. https://new.nat6.net/id/news/cmsdu2qga010jrofz571wp958/

Lihat semua →