OpenAI обнаружила явление глубокого двойного спуска в глубоком обучении
Оригинальный заголовок:Deep double descent
ИИ-резюме
OpenAI сообщает, что явление double descent широко распространено в CNN, ResNet и transformers: по мере роста размера модели, объёма данных или времени обучения качество сначала улучшается, затем ухудшается и снова улучшается. Этого эффекта часто можно избежать тщательной регуляризацией; авторы отмечают, что его причины пока недостаточно понятны, и называют это важным направлением исследований.
Ключевые моменты
- OpenAI сообщает,что явление double descent широко распространено в CNN,ResNet и transformers: по…
- Этого эффекта часто можно избежать тщательной регуляризацией
- авторы отмечают,что его причины пока недостаточно понятны,и называют это важным направлением…
Кратко
- Опубликовано
- Обновлено
- Источник
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Категория
- Статьи и исследования
- Оценка ИИ
- 60
原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: OpenAI обнаружила явление глубокого двойного спуска в глубоком обучении. 5 декабря 2019. https://new.nat6.net/ru/news/g3wsst0c4ve4trvbvw1qw9ooc/