Papers & Forschung

OpenAI entdeckt Deep Double Descent im Deep Learning

Originaltitel:Deep double descent

KI-Zusammenfassung

OpenAI berichtet, dass das Double-Descent-Phänomen in CNNs, ResNets und Transformers weit verbreitet ist: Mit steigender Modellgröße, Datenmenge oder Trainingszeit verbessert sich die Leistung zunächst, verschlechtert sich dann und verbessert sich anschließend erneut. Der Effekt lässt sich oft durch sorgfältige Regularisierung vermeiden; die Ursachen sind laut den Autoren noch nicht ausreichend verstanden und werden als wichtiges Forschungsfeld eingestuft.

Kernpunkte

  • OpenAI berichtet,dass das Double-Descent-Phänomen in CNNs,ResNets und Transformers weit verbreitet…
  • Der Effekt lässt sich oft durch sorgfältige Regularisierung vermeiden
  • die Ursachen sind laut den Autoren noch nicht ausreichend verstanden und werden als wichtiges…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
OpenAI:官网动态(RSS · 排除企业/客户案例)
Kategorie
Papers & Forschung
KI-Bewertung
60
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: OpenAI entdeckt Deep Double Descent im Deep Learning. 5. Dezember 2019. https://new.nat6.net/de/news/g3wsst0c4ve4trvbvw1qw9ooc/

Alle ansehen →