Khác

Các vectơ cơ sở đặc quyền trong luồng dư của Transformer

Tiêu đề gốc:Privileged Bases in the Transformer Residual Stream

Tóm tắt AI

Nghiên cứu phát hiện hiện tượng "vectơ cơ sở đặc quyền" trong luồng dư của mô hình Transformer, tức một số hướng tọa độ liên tục xuất hiện giá trị kích hoạt lớn bất thường, trái với kỳ vọng lý thuyết về "không có cơ sở đặc quyền". Qua thực nghiệm, nhóm nghiên cứu chỉ ra nguyên nhân nằm ở bộ chuẩn hóa theo từng chiều trong bộ tối ưu Adam, chứ không phải chuẩn hóa tầng hay độ chính xác dấu phẩy động. Trong mô hình 200 triệu tham số, tầng điển hình có 20 đến 60 chiều với giá trị kích hoạt tuyệt đối vượt 6. Nghiên cứu cũng đề xuất dùng độ nhọn làm chỉ số phát hiện, nhận thấy độ nhọn phân bố kích hoạt thường lớn hơn 3, càng khẳng định tính đối xứng của vectơ cơ sở bị phá vỡ.

Thông tin chính

  • Nghiên cứu phát hiện hiện tượng "vectơ cơ sở đặc quyền" trong luồng dư của mô hình Transformer,tức…
  • Qua thực nghiệm,nhóm nghiên cứu chỉ ra nguyên nhân nằm ở bộ chuẩn hóa theo từng chiều trong bộ tối…
  • Trong mô hình 200 triệu tham số,tầng điển hình có 20 đến 60 chiều với giá trị kích hoạt tuyệt đối…
  • Nghiên cứu cũng đề xuất dùng độ nhọn làm chỉ số phát hiện,nhận thấy độ nhọn phân bố kích hoạt…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Anthropic:Transformer Circuits(可解释性研究)
Danh mục
Khác
Điểm AI
73
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Các vectơ cơ sở đặc quyền trong luồng dư của Transformer. 16 tháng 3 2023. https://new.nat6.net/vi/news/cmoegbh73007aslxxzrbpr56o/

Xem tất cả →