складність 3/5
Leaky ReLU
Визначення
ReLU з невеликим ненульовим нахилом для від’ємних входів замість плаского нуля, — тож нейрон, що пішов у мінус, і далі отримує градієнт і може повернутися.
Формула
Інтуїція
Єдиний справжній режим збою ReLU в тому, що нуль — поглинальний стан. Нейрон, чий вхід від’ємний для кожного прикладу, видає нуль, отримує нульовий градієнт і тому власним градієнтом не може бути оновлений назад до корисності [3, §6.3.1].
Leaky ReLU робить від’ємний бік пологим нахилом замість пласкої лінії. Нейрон і далі здебільшого ігнорує від’ємні входи, але невеликий градієнт продовжує текти — достатній, щоб він відновився.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification (2015)paperhttps://arxiv.org/abs/1502.01852
- Dive into Deep Learningbook · звірено 2026-08-31https://d2l.ai/
- Deep Learning (2016)book · звірено 2026-10-07https://www.deeplearningbook.org/contents/mlp.html