складність 3/5
Entropy
Середня несподіванка розподілу, виміряна в бітах. Це нижня межа того, наскільки коротким може бути код, і кожна втрата на цьому сайті, де є «log», сплачує її.
Інтуїція
Ентропія відповідає на одне питання: якої несподіванки варто очікувати?
d2l підходить до цього через колоду карт. «Я бачу карту» не каже вам нічого — ви це й так знали. «Я бачу чирву» звужує 52 можливості до 13. «Це трійка пік» називає одну з 52. А зчитування порядку всієї перетасованої колоди вибирає одне з 52! розташувань [1, §22.11.1]. Кожне твердження несподіваніше за попереднє, і міра інформації має з цим погоджуватися.
Величина, яка робить це точним, — це −log p. d2l називає її прямо: «власну інформацію (−log(p)) можна тлумачити як величину несподіванки, яку ми відчуваємо, побачивши певний результат. Справді, коли ймовірність наближається до нуля, несподіванка стає нескінченною. Так само ентропію можна тлумачити як середню величину несподіванки від спостереження X» [1, §22.11.2.3].
Це вся ідея, а все інше на цій сторінці — її наслідки. Її варто засвоїти, бо це не одна тема з багатьох: із неї складається перехресна ентропія, вона — критерій розбиття дерева рішень, її підносить до степеня перплексія, і нею обмежений кожен компресор.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learning — Information Theorybook · звірено 2026-09-18https://d2l.ai/chapter_appendix-mathematics-for-deep-learning/information-theory.html
- scikit-learn — Decision Treesdocs · звірено 2026-09-18https://scikit-learn.org/stable/modules/tree.html