складність 2/5
Сигмоїда
Визначення
S-подібна активація, що стискає будь-яке дійсне число в (0, 1), — історично типовий вибір для нейронних мереж, нині здебільшого витіснений із прихованих шарів, бо душить градієнт.
Формула
Інтуїція
Порогова функція perceptron брутальна: усе нижче порога — 0, усе вище — 1, а стрибок між ними миттєвий. Це робить її недиференційовною саме там, де це важить, тож градієнтне навчання неможливе.
Сигмоїда — гладка версія цієї сходинки. Та сама форма, ті самі межі, але перехід поступовий, а отже похідна існує всюди, і мережі можна навчати.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-08-31https://d2l.ai/
- Deep Learning (2016)bookhttps://www.deeplearningbook.org/
- Efficient BackProp (1998)paperhttps://doi.org/10.1007/3-540-49430-8_2
- On Calibration of Modern Neural Networks (2017)paperhttps://arxiv.org/abs/1706.04599