Статьи и исследования

OpenAI обнаружила явление глубокого двойного спуска в глубоком обучении

Оригинальный заголовок:Deep double descent

ИИ-резюме

OpenAI сообщает, что явление double descent широко распространено в CNN, ResNet и transformers: по мере роста размера модели, объёма данных или времени обучения качество сначала улучшается, затем ухудшается и снова улучшается. Этого эффекта часто можно избежать тщательной регуляризацией; авторы отмечают, что его причины пока недостаточно понятны, и называют это важным направлением исследований.

Ключевые моменты

  • OpenAI сообщает,что явление double descent широко распространено в CNN,ResNet и transformers: по…
  • Этого эффекта часто можно избежать тщательной регуляризацией
  • авторы отмечают,что его причины пока недостаточно понятны,и называют это важным направлением…

Кратко

Опубликовано
Обновлено
Источник
OpenAI:官网动态(RSS · 排除企业/客户案例)
Категория
Статьи и исследования
Оценка ИИ
60
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: OpenAI обнаружила явление глубокого двойного спуска в глубоком обучении. 5 декабря 2019. https://new.nat6.net/ru/news/g3wsst0c4ve4trvbvw1qw9ooc/

Смотреть все →