складність 3/5
Class imbalance
Один клас рідкісний, а кожне типове налаштування припускає, що ні. Точність виглядає чудово, рідкісний клас модель не передбачає ніколи, а більшість ліків лише рухають поріг.
Інтуїція
Модель виявляння шахрайства повідомляє про точність 99.9%. Вона також, якщо придивитися, передбачає «не шахрайство» для кожної транзакції, яку будь-коли бачила. Обидва факти істинні водночас, і саме перший є причиною того, що ніхто не перевірив другий.
Це не тонкий режим поломки. Це те, що робить функція втрати, коли їй кажуть, що один клас у тисячу разів поширеніший за інший: майже все доступне зменшення втрати лежить у тому, щоб правильно вгадувати поширений. Модель поводиться правильно, а ціль була неправильною.
Власна документація scikit-learn розглядає підозріло звичайну оцінку як симптом, вартий розслідування: «коли точність класифікатора надто близька до випадкової, це, ймовірно, означає, що щось пішло не так: ознаки не помічні, гіперпараметр налаштовано неправильно, класифікатор страждає від дисбалансу класів» [2, §3.4.8].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Classification metrics →
Джерела
- A systematic study of the class imbalance problem in convolutional neural networks (2018)paperhttps://ar5iv.labs.arxiv.org/html/1710.05381
- scikit-learn User Guide — Metrics and scoringdocs · звірено 2026-09-13https://scikit-learn.org/stable/modules/model_evaluation.html