складність 2/5
Tanh
Перемасштабована сигмоїда, що видає значення від −1 до 1 замість 0 і 1, — центрована навколо нуля, тому поводиться краще за сигмоїду, хоча насичується так само.
Інтуїція
У сигмоїди є структурна прикрість: кожен її вихід додатний. Це означає, що всі градієнти, які надходять до ваг наступного шару, мають спільний знак, тож ці ваги можуть лише всі разом зростати або всі разом спадати — і оптимізація зигзагує до відповіді замість прямувати до неї [3, §4.3].
Tanh — та сама S-крива, зсунута й розтягнута так, що вона осідлує нуль. Від’ємні входи дають від’ємні виходи, додатні — додатні, а середня активація лежить біля нуля. Саме тому симетричним сигмоїдам віддають перевагу: вони «з більшою ймовірністю дають виходи (які є входами наступного шару), у середньому близькі до нуля» [3, §4.4].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-08-31https://d2l.ai/
- Deep Learning (2016)bookhttps://www.deeplearningbook.org/
- Efficient BackProp (1998)paperhttps://doi.org/10.1007/3-540-49430-8_2