Маршрут
Глибоке навчання від початку до кінця
Мережі, оптимізація, регуляризація й що робити, коли навчання не йде.
Кроки по порядку
- 01PerceptronНайпростіший нейрон: множить кожен вхід на вагу, додає їх разом зі зсувом і видає 1, якщо сума перевищує поріг, або 0, якщо ні.Безкоштовно
- 02DropoutПід час навчання обнуляйте випадкову частку активацій, а решту діліть на частку тих, що вціліли. Модель, яку ви випускаєте, — дешевий замінник ансамблю, якого вона ніколи не будує.Безкоштовно
- 03СигмоїдаS-подібна активація, що стискає будь-яке дійсне число в (0, 1), — історично типовий вибір для нейронних мереж, нині здебільшого витіснений із прихованих шарів, бо душить градієнт.
- 04ReLUПропускає додатні значення без змін і обнуляє все від’ємне — активація настільки проста, що ледь є функцією, і саме тому типовий вибір у сучасних мережах.
- 05SoftmaxПеретворює вектор оцінок на розподіл імовірностей через піднесення експоненти й нормування — стандартний останній крок багатокласового класифікатора і стандартне місце для числового переповнення.
- 06TanhПеремасштабована сигмоїда, що видає значення від −1 до 1 замість 0 і 1, — центрована навколо нуля, тому поводиться краще за сигмоїду, хоча насичується так само.
- 07BackpropagationЛанцюгове правило, застосоване у зворотному напрямку по обчислювальному графу. Один обхід дає похідну за кожним параметром, коштуючи приблизно стільки ж, скільки один прямий прохід.
- 08ConvolutionПротягування невеликого навченого ядра по входу зі зваженою сумою в кожній позиції — ті самі ваги скрізь, і саме так шар може дивитися на зображення без окремого параметра на піксель.
- 09Depthwise separable convolutionРозділити згортку на фільтрування кожного каналу й тоді змішування каналів. Для ядра 3×3 це приблизно вдев’ятеро дешевше, а те, що лишається, — здебільшого множення матриць.
- 10Leaky ReLUReLU з невеликим ненульовим нахилом для від’ємних входів замість плаского нуля, — тож нейрон, що пішов у мінус, і далі отримує градієнт і може повернутися.
- 11PoolingЗаміна кожного вікна карти ознак одним підсумковим числом — зазвичай його максимумом, — щоб зменшити сітку й зробити представлення менш чутливим до того, де саме була ознака.
- 12Receptive fieldОбласть входу, від якої одна одиниця взагалі може залежати — яка росте лише лінійно з глибиною і чий вплив зосереджений у гаусовому центрі, значно меншому за саму область.
- 13Recurrent neural networkМережа, що переносить прихований стан від одного кроку послідовності до наступного, тож один набір ваг обробляє послідовність будь-якої довжини. Та сама рекурентність знищує градієнт.
- 14Transposed convolutionЗгортка, запущена навпаки: вона розкидає ядро замість того, щоб збирати, перетворюючи малу карту ознак на більшу. Назва буквальна, а не метафора.
- 15Batch normalizationПерецентрувати й перемасштабувати входи кожного шару за статистиками поточного мінібатча — шар, який зробив значно глибші мережі навчуваними й куди менш чутливими до ініціалізації.
- 16Residual connectionДодавання входу блоку до його виходу, щоб блоку лишалося вчити тільки різницю, — це зробило навчуваними мережі на сто й більше шарів і дало градієнтам шлях в обхід ваг.