складність 4/5
Residual connection
Додавання входу блоку до його виходу, щоб блоку лишалося вчити тільки різницю, — це зробило навчуваними мережі на сто й більше шарів і дало градієнтам шлях в обхід ваг.
Інтуїція
Додавання шарів до мережі ніколи не мало б її погіршувати. Стаття формулює це точно: «для глибшої моделі існує розв’язок за побудовою: додані шари є тотожним відображенням, а решту шарів скопійовано з навченої меншої моделі», тож «глибша модель не повинна давати вищої похибки навчання, ніж її менш глибокий відповідник» [1, §1].
Реальність не погодилася. «Зі збільшенням глибини мережі точність насичується (що, можливо, не дивно), а потім швидко деградує. Несподівано, така деградація не спричинена перенавчанням, і додавання більшої кількості шарів до достатньо глибокої моделі веде до вищої похибки навчання» [1, §1].
Останнє речення і є діагнозом. Вища похибка саме навчання виключає перенавчання і прямо вказує на оптимізацію: добрий розв’язок існував, а оптимізатор не зміг його знайти.
Стаття пояснює це тим, що розв’язувачам «може бути важко наближати тотожні відображення кількома нелінійними шарами» [1, §3.1]. Ніщо в згортці з подальшою нелінійністю не робить «видати рівно те, що дали» природним налаштуванням.
Тож зробіть її типовою. Проведіть вхід в обхід блоку й додайте його назад, і робота блоку зміниться з видати правильний вихід на видати поправку. Якщо поправка не потрібна, ваги йдуть у нуль — а це найлегше, що градієнтний спуск будь-коли робить.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Deep Residual Learning for Image Recognition (2015)paperhttps://ar5iv.labs.arxiv.org/html/1512.03385
- Understanding the Effective Receptive Field in Deep Convolutional Neural Networks (2017)paperhttps://arxiv.org/abs/1701.04128