складність 2/5
Softmax
Перетворює вектор оцінок на розподіл імовірностей через піднесення експоненти й нормування — стандартний останній крок багатокласового класифікатора і стандартне місце для числового переповнення.
Інтуїція
Останній шар класифікатора видає одне число на клас. Ніщо в цих числах не робить їх імовірностями: вони можуть бути від’ємними, можуть бути всі великими, і немає жодної причини, щоб їхня сума дорівнювала чомусь конкретному.
Softmax виправляє обидві проблеми за один крок, і дві половини його назви — це дві половини виправлення. Експонента робить кожне число додатним і зберігає порядок, у якому вони вже були. Ділення на суму змушує їх давати в сумі одиницю. На виході — розподіл за класами [1, §4.1.1.2].
Назва вводить в оману, і про це варто знати заздалегідь. Це не м’яка версія
max — він не наближає найбільше значення. Це м’яка версія argmax: гладкий
замінник one-hot вектора, який поклав би всю свою масу на переможця: «"пом’якшена" версія arg max» [2, §6.2.2.3].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learning — 4.1 Softmax Regressionbook · звірено 2026-09-20https://d2l.ai/chapter_linear-classification/softmax-regression.html
- Deep Learning — 4.1 Overflow and Underflow (2016)book · звірено 2026-09-20https://www.deeplearningbook.org/