OpenAI observe un double descent profond dans l'apprentissage profond
Titre original:Deep double descent
Résumé IA
OpenAI rapporte que le phénomène de double descent est courant dans les CNN, ResNet et transformers : lorsque la taille du modèle, le volume de données ou le temps d'entraînement augmentent, les performances s'améliorent, puis se dégradent, puis s'améliorent à nouveau. Cet effet peut souvent être évité par une régularisation soignée ; les auteurs indiquent que ses causes restent mal comprises et en font une direction de recherche importante.
Points clés
- OpenAI rapporte que le phénomène de double descent est courant dans les CNN,ResNet et…
- Cet effet peut souvent être évité par une régularisation soignée
- les auteurs indiquent que ses causes restent mal comprises et en font une direction de recherche…
En bref
- Publié
- Mis à jour
- Source
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Catégorie
- Articles et recherche
- Score IA
- 60
原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : OpenAI observe un double descent profond dans l'apprentissage profond. 5. décembre 2019. https://new.nat6.net/fr/news/g3wsst0c4ve4trvbvw1qw9ooc/