складність 3/5
Cross-entropy
Втрата, якою навчають кожен класифікатор на цьому сайті. Вона бере плату і за помилку, і за впевненість у ній, а її підлогу задає базова частота, а не нуль.
Інтуїція
Точність ставить кожному прогнозу одне питання: правильне чи неправильне. Перехресна ентропія ставить два: чи мали ви рацію і наскільки ви були певні?
Це друге питання і є всією різницею. Модель, яка каже 51% і має рацію, майже ні на що не зобов’язалася. Модель, яка каже 99.9% і помиляється, зробила твердження, якого не забрати назад, і втрата бере з неї 6.9 ната за той один рядок — стільки ж, скільки кілька тисяч правильних прогнозів за тієї самої впевненості.
Назва прийшла з теорії інформації, де це вартість кодування даних, які насправді
походять із P, за допомогою моделі Q [2, §22.11.5.1]. На
практиці це число, яке ви дістаєте з log_loss чи nn.CrossEntropyLoss, і
корисно знати, що саме воно міряє такого, чого не міряє точність, і де його
підлога.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Classification metrics →
Джерела
- scikit-learn — Metrics and scoringdocs · звірено 2026-09-18https://scikit-learn.org/stable/modules/model_evaluation.html
- Dive into Deep Learning — Information Theorybook · звірено 2026-09-18https://d2l.ai/chapter_appendix-mathematics-for-deep-learning/information-theory.html
- Machine Learning Crash Course — Thresholds and the confusion matrixcourse · звірено 2026-10-04https://developers.google.com/machine-learning/crash-course/classification/thresholding
- On Calibration of Modern Neural Networks (2017)paperhttps://ar5iv.labs.arxiv.org/html/1706.04599