Bài báo & nghiên cứu

OpenAI phát hiện hiện tượng double descent sâu trong học sâu

Tiêu đề gốc:Deep double descent

Tóm tắt AI

OpenAI báo cáo hiện tượng double descent xuất hiện phổ biến trong CNN, ResNet và transformer: khi quy mô mô hình, lượng dữ liệu hoặc thời gian huấn luyện tăng, hiệu năng cải thiện trước, sau đó giảm rồi lại cải thiện. Hiệu ứng này thường có thể tránh được nhờ chính quy hóa cẩn thận; các tác giả cho biết nguyên nhân chưa được hiểu đầy đủ và xem đây là hướng nghiên cứu quan trọng.

Thông tin chính

  • OpenAI báo cáo hiện tượng double descent xuất hiện phổ biến trong CNN,ResNet và transformer: khi…
  • Hiệu ứng này thường có thể tránh được nhờ chính quy hóa cẩn thận
  • các tác giả cho biết nguyên nhân chưa được hiểu đầy đủ và xem đây là hướng nghiên cứu quan trọng.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
OpenAI:官网动态(RSS · 排除企业/客户案例)
Danh mục
Bài báo & nghiên cứu
Điểm AI
60
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: OpenAI phát hiện hiện tượng double descent sâu trong học sâu. 5 tháng 12 2019. https://new.nat6.net/vi/news/g3wsst0c4ve4trvbvw1qw9ooc/

Xem tất cả →