Яка активація — і де?
П’ять активацій пліч-о-пліч, пари, які плутають, і одна глибока мережа, навчена з кожною, де одна не вчиться нічого, а інша втрачає п’яту частину нейронів.
друкується на 2 сторінках A4з 6 сторінок і 1 каталогучитати безкоштовно · PDF — із безкоштовним акаунтомОновлено 24 жовт. 2026 р.
PDF і кнопка «Друкувати» просять увійти; безкоштовного акаунта досить. Читати й перевіряти себе може кожен.
Пліч-о-пліч
Перші стовпці — з каталогу Activation functions; решта — з кожної сторінки.
Формулу наведено, лише коли вона коротша за слова; решту сказано словами, а формула є на кожній сторінці.
Легко сплутати
Питання «чим відрізняється…» — кожне у два рядки.
Tanh — сигмоїда, перемасштабована до (−1, 1), центрована, з учетверо більшим піковим градієнтом; обидві насичуються на хвостах.
Tanh усередині мережі, якщо обмежена активація взагалі потрібна; сигмоїда — на бінарному виході.
ReLU проти Leaky ReLU
Leaky ReLU лишає малий нахил нижче нуля, тож жоден нейрон не перестає отримувати градієнт; точні нулі ReLU роблять її розрідженою.
ReLU за замовчуванням; leaky ReLU — коли мертві нейрони виміряно.
Сигмоїда дає кожному виходу власну ймовірність; softmax робить із виходів один розподіл, що в сумі дає 1.
Softmax, коли істинний рівно один клас; сигмоїда на кожну мітку, коли їх може бути кілька.
Насичений нейрон проти Мертвий нейрон
Насичена сигмоїда повертає градієнт крихітний, але не нульовий; мертвий нейрон ReLU не повертає жодного, для будь-якого входу.
Насичення приходить із глибиною й лікується активацією; мертві нейрони часто з’являються від завеликого темпу навчання.
Один справжній запуск
Та сама десятишарова мережа, навчена на двох колах із кожною активацією і раз без жодної.
| Активація | Градієнт | Мертві | Точність |
|---|---|---|---|
| none | 0.79 | 0.00 | 0.46 |
| step | 0 | 0.12 | 0.48 |
| sigmoid | 1.6e-6 | 0.00 | 0.50 |
| tanh | 0.64 | 0.00 | 0.99 |
| relu | 0.87 | 0.20 | 0.99 |
| leaky-relu | 0.87 | 0.00 | 0.99 |
«Без нелінійності десять шарів — це одна пряма.»
«Градієнт сигмоїди не переживає глибини.»
«П’ята частина нейронів ReLU гине; leaky ReLU не втрачає жодного.»
Запуск і ці рядки — практичний приклад зі сторінки «ReLU», як його виведено: 10 hidden layers of 32 units, two circles, mean of 5 seeds
Що обрати?
Де вона стоїть?
На що відповідає вихід?
Чи багато мертвих нейронів?
- Так, і їх пораховано Leaky ReLU
Кожна відповідь — з розділу «Чому і коли» своєї сторінки.
Усі пастки цих сторінок: 23
Кожна — перший рядок однієї з типових помилок; чому — пояснює її сторінка.
Perceptron
- Масштабуйте ознаки.
- Він збігається лише на лінійно роздільних даних.
- Вихід — не впевненість.
Сигмоїда
- Використовуйте чисельно стійку реалізацію.
- Виходи не центровані навколо нуля.
- Не складайте сигмоїди у глибокі стоси.
- Вихід сигмоїди за замовчуванням не відкалібрований.
Tanh
- Вона все одно насичується.
- Центровані входи теж важать.
- Похідна має дешеву замкнену форму.
- Бути кращою за сигмоїду — низька планка.
ReLU
- Мертва ReLU.
- Необмежений вихід.
- Не центрована навколо нуля.
- Стежте за темпом навчання.
Leaky ReLU
- a — гіперпараметр, який ви, найімовірніше, не налаштовуватимете.
- Вона віддає розрідженість.
- Вона не є надійно кращою.
- Спершу діагностуйте, потім перемикайте.
Softmax
- Брати логарифм від виходу.
- Зчитувати з нього впевненість.
- Застосовувати його двічі.
- Застосовувати його до задач із кількома мітками.