складність 4/5
Batch normalization
Перецентрувати й перемасштабувати входи кожного шару за статистиками поточного мінібатча — шар, який зробив значно глибші мережі навчуваними й куди менш чутливими до ініціалізації.
Інтуїція
Кожен шар у мережі намагається вивчити функцію своїх входів. Але ці входи є виходами шару під ним, який і сам оновлюється, — тож розподіл, що надходить до будь-якого шару, весь час зсувається під ним. Кожен шар женеться за рухомою ціллю.
Batch normalization приколює цю ціль на місце. Перш ніж шар побачить свої входи, їх перецентровують і перемасштабовують за середнім і дисперсією поточного мінібатча. Ваги нижче й далі змінюються; форма того, що надходить, змінюватися перестає.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (2015)paperhttps://ar5iv.labs.arxiv.org/html/1502.03167
- Dive into Deep Learningbook · звірено 2026-10-07https://d2l.ai/chapter_convolutional-modern/batch-norm.html
- How Does Batch Normalization Help Optimization? (2018)paperhttps://arxiv.org/abs/1805.11604
- Group Normalization (2018)paperhttps://arxiv.org/abs/1803.08494
- Layer Normalization (2016)paperhttps://arxiv.org/abs/1607.06450
- Deep Residual Learning for Image Recognition (2015)paperhttps://arxiv.org/abs/1512.03385