OpenAI 发现深度学习中的深度双下降现象
原文标题:Deep double descent
AI 摘要
OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中:随着模型规模、数据量或训练时间增大,性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避,作者表示其成因尚未被充分理解,并将其列为重要的研究方向。
关键信息
- OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中:随着模型规模、数据量或训练时间增大,性能先改善、再变差、然后再次改善。
- 该效应常可通过仔细的正则化来规避,作者表示其成因尚未被充分理解,并将其列为重要的研究方向
- 原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 60
推荐理由
原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:OpenAI 发现深度学习中的深度双下降现象。2019年12月5日。https://new.nat6.net/news/g3wsst0c4ve4trvbvw1qw9ooc/