Classification metrics

Шість із них — ті самі чотири числа

Бінарний класифікатор дає рівно чотири підрахунки: істинні негативні, хибні позитивні, хибні негативні та істинні позитивні результати — саме в такому фіксованому порядку в матриці помилок scikit-learn [1, binary case]. Кожна з перших шести метрик у таблиці вище є відношенням якоїсь їх підмножини. Останні дві — ні, і про них окремий розділ нижче.

Саме тому стовпець «чого не бачить» тут найкорисніший. Вибір метрики — це вибір того, які з цих чотирьох підрахунків відкинути, а саме у відкинутих і живуть неприємні несподіванки.

Дві осі, що справді різняться

Прочитайте таблицю посередині — і виявиться, що насправді ставлять два питання.

«Із того, що модель позначила…» — достовірність, у задачі пошуку, звідки вона походить, «частка знайдених документів, які релевантні» [3, §8.3]. Її знаменник задає власна поведінка моделі, тож вона зсувається, коли модель стає більш чи менш охочою, і зсувається, коли змінюється базова частота, хоча модель не змінилася.

«Із того, що було насправді…» — recall і специфічність. Їхні знаменники походять із даних, тож вони інваріантні до поширеності. Саме тому медичне тестування звітує про чутливість і специфічність, а операційна команда, що веде чергу сигналів, дбає про достовірність — метрику, до якої вдаються, «коли дуже важливо, щоб позитивні прогнози були точними» [2, Choice of metric and tradeoffs].

Плутанина між ними — найпоширеніша помилка в цій темі, бо і достовірність, і специфічність звучать як «як часто ми помиляємось, коли кажемо так».

Дві, що читають імовірності

Лог-втрата і калібрування ніколи не дивляться на чотири підрахунки. Вони читають імовірність, яку назвала модель, ще до того, як поріг перетворив її на мітку, — тому жодній із них поріг не потрібен, і обидві бачать те, чого не бачать інші шість: чи заявлені 0.9 були чесними 0.9.

Лог-втрата — це від’ємна логарифмічна правдоподібність справжніх міток, яку Guo та співавтори називають «стандартною мірою якості ймовірнісної моделі», що її «також називають втратою перехресної ентропії в контексті глибокого навчання» [4, §2, Negative log likelihood]. У середньому вона мінімальна лише тоді, коли ймовірності моделі — справжні [4, §2, Negative log likelihood], тож сміливість понад свідчення коштує, а самої правильності замало. Чого вона не може показати, то це власну шкалу. Перехресну ентропію можна тлумачити «як суму ентропії H(P) і дивергенції Кульбака–Лейблера між P і Q» [5, §22.11.5.1]: ентропійна частина — це підлога, нижче якої не опуститься жодна модель, вона рухається разом із базовою частотою, і лог-втрата, прочитана без цієї підлоги, нічого не каже.

Калібрування питає, чи справджується заявлена впевненість: «маючи 100 прогнозів, кожен із впевненістю 0.8, ми очікуємо, що 80 з них буде класифіковано правильно» [4, §2]. Воно не бачить, чи модель узагалі розділяє класи. Модель, що для кожного випадку прогнозує базову частоту, ідеально відкалібрована — і не каже нічого про жоден із них.

Жодна з них не враховує асиметричні витрати

Кожна метрика вище, побудована на підрахунках, зважує два типи помилок за фіксованим правилом: точність і F1 зважують їх однаково, а достовірність і recall кожна ігнорує один із них. Жодна не знає, що пропущене шахрайство коштує 400 євро, а заблокована чесна транзакція — одного роздратованого клієнта.

Якщо витрати справді різні й відомі, правильний хід — не шукати кращу метрику з цього списку. Правильний хід — обрати поріг рішення, що мінімізує очікувані витрати напряму, а потім навести достовірність і recall на цьому порозі, щоб описати свій вибір.

Практична порада

Наводьте матрицю помилок плюс дві похідні величини, ніколи не одну. Одна оцінка завжди приховує одну з чотирьох клітинок, а те, яку саме вона приховує, і визначає, чи придатна модель для вашої задачі. Коли використовують саму ймовірність, додайте лог-втрату поруч із її базовою частотою й перевірку калібрування.