Bài báo & nghiên cứu

Vì sao nhóm Ant Ling thiết kế lại SwiGLU? Quá trình ra đời của hàm kích hoạt PowLU

Tiêu đề gốc:我们为什么要重新设计 SwiGLU?聊一聊 PowLU 的诞生始末

Tóm tắt AI

Nhóm Ant Ling đề xuất hàm kích hoạt mới PowLU, nhằm giải quyết vấn đề Loss Spike và sụp đổ huấn luyện của SwiGLU trong huấn luyện độ chính xác thấp như FP8 do tăng trưởng bậc hai khuếch đại giá trị ngoại lai.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:蚂蚁百灵(Ling)
Danh mục
Bài báo & nghiên cứu
Điểm AI
81
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

用幂函数替代指数项以压制输出范围,避免了 SwiGLU 截断带来的信息丢失,为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Vì sao nhóm Ant Ling thiết kế lại SwiGLU? Quá trình ra đời của hàm kích hoạt PowLU. 29 tháng 5 2026. https://new.nat6.net/vi/news/cmsdu2qga010jrofz571wp958/

Xem tất cả →