складність 3/5
Model calibration
Щоб заявлена впевненість моделі означала те, що каже: з прогнозів, зроблених із впевненістю 90%, правильними мають бути 90%. Точність цього не вимірює, і сучасні мережі тут сильно провалюються.
Інтуїція
Класифікатор, що має рацію в 74% випадків і так і каже, корисний. Той, що має рацію в 74% випадків, а заявляє 87%, небезпечний у конкретний спосіб: кожне подальше рішення, яке споживає це число, — поріг, очікувана вартість, передача людині — живиться неправдою.
Вимога має тест в одне речення: «маючи 100 прогнозів, кожен із впевненістю 0.8, ми очікуємо, що 80 з них буде класифіковано правильно» [1, §2].
Точність цього не вимірює, як і AUC, бо обидві дбають лише про порядок і пороги. Модель може ідеально ранжувати кожен приклад і все одно називати ймовірності, рівномірно набагато завищені. Калібрування — окрема властивість, і саме вона важить щоразу, коли використовують саму ймовірність, а не лише argmax.
Неприємна знахідка в тому, що прогрес зробив гірше: «сучасні нейронні мережі, на відміну від тих, що були десятиліття тому, погано відкалібровані» [1, abstract].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Classification metrics →
Джерела
- On Calibration of Modern Neural Networks (2017)paperhttps://ar5iv.labs.arxiv.org/html/1706.04599
- scikit-learn User Guide — Probability calibrationdocs · звірено 2026-09-06https://scikit-learn.org/stable/modules/calibration.html