Метрики та функції втрат · 7 у порівнянні
Regression metrics
Квадратична, абсолютна, відносна чи логарифмічна — кожна метрика регресії кодує інше переконання про те, чого коштує поганий прогноз, і вибір однієї з них є заявою про це.
Порівняння
| Назва Що вимірює | Одиниці | Викиди | Вимагає |
|---|---|---|---|
| MSE Середня квадратична похибка. Один промах на 10 важить стільки ж, скільки сто промахів по 1. Повна сторінка → | ціль² | Дуже чутлива | Будь-яка дійсна ціль |
| RMSE Корінь із MSE, тож число читається у власних одиницях цілі. Те саме впорядкування, зрозуміла відповідь. Повна сторінка → | ціль | Дуже чутлива | Будь-яка дійсна ціль |
| MAE Середня абсолютна похибка. Кожна одиниця похибки важить однаково, хай яка вона завбільшки. Повна сторінка → | ціль | Робастна | Будь-яка дійсна ціль |
| R² Частка похибки предиктора-середнього, яку модель усунула. Безрозмірна, але не порівнювана між наборами даних — масштаб задає дисперсія кожного. Повна сторінка → | немає | Чутлива (побудована на MSE) | Нестала ціль |
| MAPE Похибка як частка істинного значення. Безмасштабна й інтуїтивна, і вибухає поблизу нуля. Повна сторінка → | немає (відношення) | Чутлива до малих y | y далеко від нуля |
| MSLE Квадратична похибка на логарифмах, тож похибка в певну кількість разів коштує однаково на будь-якій величині. Повна сторінка → | немає (лог-відношення) | Стискає великі y | y ≥ 0 |
| Huber Квадратична поблизу нуля, лінійна за порогом. Гладкість MSE з робастністю MAE. Повна сторінка → | ціль (залежить від δ) | Робастна | Будь-яка дійсна ціль |
На шпаргалці: Regression metrics and losses →
Один набір даних, п’ять вердиктів
Пропустіть ті самі чотири прогнози через кілька із цих метрик — і вони не погодяться між собою: не щодо чисел, а щодо того, яка похибка мала значення:
Це все y_true = [3, -0.5, 2, 7] проти y_pred = [2.5, 0, 2, 8]. Похибки
становлять 0.5, 0.5, 0 і 1. За MSE єдина похибка в 1 дає дві третини суми; за
MAE — половину; за MAPE усе переважає похибка 0.5 проти істинного значення −0.5,
бо відносно цього значення це промах на 100%.
Ті самі прогнози. Різна відповідь на питання «що пішло не так».
Вибір стосується витрат, а не точності
Тут немає найточнішої метрики. Кожна кодує певне твердження:
- Квадратичні (MSE, RMSE, R²) — великі похибки непропорційно погані. Один промах на 10 одиниць гірший за десять промахів по 1.
- Абсолютна (MAE) — похибки коштують пропорційно розміру. Десять промахів по 1 і один промах на 10 однаково погані.
- Відносні (MAPE, MSLE) — значення має кратність, а не різниця. Помилитися на 10% однаково погано на будь-якому масштабі.
- Гібридна (Huber) — пропорційна у хвості, квадратична поблизу нуля, бо потрібна гладка оптимізація без того, щоб викиди керували підгонкою.
Оберіть рядок, що відповідає тому, як ваша задача насправді втрачає гроші, а потім наводьте число в одиницях, за якими хтось може діяти.
Що кожна з них підганяє
Недооцінений наслідок: метрика, на якій ви навчаєте, вирішує, що саме прогнозує модель.
Мінімізація квадратичної похибки підганяє умовне середнє; мінімізація абсолютної — умовну медіану; мінімізація MSLE — щось ближче до геометричного середнього 1 + y [2, §6.2.1.2]. На праворуч скошених даних це помітно різні числа, тож модель, навчена на MAE, яка сидить нижче за навчену на MSE, поводиться правильно, а не недонавчена.
Практична порада
Наводьте дві: одне абсолютне число у власних одиницях цілі, щоб люди могли на його підставі діяти (RMSE або MAE), і R² як частку поясненої дисперсії — лише на цьому наборі даних, бо й R² не можна порівнювати між наборами. Ніколи не наводьте саму лише MSE — її одиниці є квадратом одиниць цілі, і ніхто не може їх інтерпретувати [1, return value].
Перевіряйте min(abs(y_true)) перед вибором MAPE і min(y_true) перед вибором
MSLE. Обидві мають обмеження області визначення, що без попередження
перетворюють їх із корисних на беззмістовні.
Джерела
- scikit-learn — sklearn.metrics.mean_squared_errordocs · звірено 2026-08-30https://scikit-learn.org/stable/modules/generated/sklearn.metrics.mean_squared_error.html
- Deep Learning (2016)bookhttps://www.deeplearningbook.org/contents/mlp.html