Accuracy

Інтуїція

Порахуйте, скільки прогнозів були правильними, і поділіть на те, скільки ви їх зробили. Це і є точність — метрика, до якої всі тягнуться першою, бо вона єдина не потребує пояснень.

Вона ж найімовірніше й введе вас в оману — з однієї причини: вона трактує кожну помилку як однакову, а кожен клас — як однаково поширений. Обидва припущення регулярно не справджуються.

Формальне визначення

scikit-learn обчислює частку правильно класифікованих зразків [1, definition]. У термінах матриці помилок це діагональ, поділена на всю таблицю.

З normalize=False та сама функція повертає сиру кількість замість частки [1, normalize].

У багатоміткових задачах вона стає точністю підмножини: прогнозований набір міток має точно збігтися з істинним, а це значно суворіша перевірка, ніж здається [1, definition].

Як це працює

Точність — одне число, що підсумовує всю матрицю помилок, тобто стискає чотири підрахунки в один, а стиснення втрачає інформацію. Дві моделі з однаковою точністю можуть поводитися протилежно: одна взагалі відмовляється прогнозувати позитивний клас, інша позначає все підряд.

Де застосовується

• Збалансовані бенчмарки. Там, де класи приблизно рівні, а помилки коштують однаково, точність є чесним підсумком, який легко пояснити.
• Перша перевірка на здоровий глузд. Порівняння точності з базовою частотою мажоритарного класу одразу показує, чи модель узагалі чогось навчилася.
• Звітування нефахівцям. Це єдина метрика класифікації, яка не потребує передмови.

Чому і коли

Використовуйте її, коли класи збалансовані, а два типи помилок коштують приблизно однаково. За таких умов це справді правильний підсумок.

Беріть щось інше, щойно дані стають перекошеними. У наборі, де 99% негативних, прогноз «негативний» щоразу дає 99% точності й при цьому цілком марний [4, §8.3]. Дисбаланс класів переживають достовірність, recall і матриця помилок; точність — ні [2, Accuracy].

Практичний приклад

from sklearn.metrics import accuracy_score

y_pred = [0, 2, 1, 3]
y_true = [0, 1, 2, 3]

accuracy_score(y_true, y_pred)
# 0.5
accuracy_score(y_true, y_pred, normalize=False)
# 2.0

Два з чотирьох прогнозів правильні — позиції 0 і 3, — тож точність дорівнює 0.5 [1, examples]. Зверніть увагу: два хибні прогнози були прямою заміною класів 1 і 2 місцями, чого точність показати не може, а матриця помилок — може.

Типові помилки

Завжди порівнюйте з базовою частотою. Точність 95% — чудово, якщо мажоритарний клас становить 50% даних, і нічого не варта, якщо 96%. Саме число не піддається інтерпретації [2, Accuracy].

Точність приховує, яку саме помилку робить модель. Дві моделі з однаковою точністю можуть помилятися протилежно — одна пропускає позитивні випадки, інша здіймає хибні тривоги, — а коли один тип помилки коштує більше за інший, що «стосується більшості реальних застосувань», саме ця різниця і є питанням [2, Accuracy].

Вона повністю ігнорує впевненість. Прогноз, зроблений з упевненістю 51%, рахується так само, як зроблений з 99% [3, classification threshold]. Якщо для вашого рішення важливі відкалібровані ймовірності, точність вимірює не те, що вас цікавить.