OpenAI entdeckt Deep Double Descent im Deep Learning
Originaltitel:Deep double descent
KI-Zusammenfassung
OpenAI berichtet, dass das Double-Descent-Phänomen in CNNs, ResNets und Transformers weit verbreitet ist: Mit steigender Modellgröße, Datenmenge oder Trainingszeit verbessert sich die Leistung zunächst, verschlechtert sich dann und verbessert sich anschließend erneut. Der Effekt lässt sich oft durch sorgfältige Regularisierung vermeiden; die Ursachen sind laut den Autoren noch nicht ausreichend verstanden und werden als wichtiges Forschungsfeld eingestuft.
Kernpunkte
- OpenAI berichtet,dass das Double-Descent-Phänomen in CNNs,ResNets und Transformers weit verbreitet…
- Der Effekt lässt sich oft durch sorgfältige Regularisierung vermeiden
- die Ursachen sind laut den Autoren noch nicht ausreichend verstanden und werden als wichtiges…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 60
原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: OpenAI entdeckt Deep Double Descent im Deep Learning. 5. Dezember 2019. https://new.nat6.net/de/news/g3wsst0c4ve4trvbvw1qw9ooc/