складність 2/5
ReLU
Визначення
Пропускає додатні значення без змін і обнуляє все від’ємне — активація настільки проста, що ледь є функцією, і саме тому типовий вибір у сучасних мережах.
Формула
Інтуїція
Сигмоїда і tanh витрачають величезні зусилля на гладку, обмежену S-подібну криву — і саме ця гладкість убиває градієнт у їхніх хвостах.
ReLU натомість не робить майже нічого. Якщо вхід додатний — повернути його. Якщо від’ємний — повернути нуль. Ні експонент, ні меж, ні насичення з додатного боку. Це виглядає надто грубо, щоб працювати, а D2L називає її «значно придатнішою до оптимізації, ніж сигмоїда чи tanh» [1, §5.1.3].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-08-31https://d2l.ai/
- Deep Learning (2016)bookhttps://www.deeplearningbook.org/
- Deep Sparse Rectifier Neural Networks (2011)paperhttps://proceedings.mlr.press/v15/glorot11a.html