Який штраф — чи жодного?

Сім лінійних моделей пліч-о-пліч, пари, які плутають, і один запуск, де найкращий прогноз не є найкращим відбором ознак.

друкується на 2 сторінках A4з 8 сторінок і 1 каталогучитати безкоштовно · PDF — із безкоштовним акаунтомОновлено 23 жовт. 2026 р.

Завантажити PDFСамоперевірка

PDF і кнопка «Друкувати» просять увійти; безкоштовного акаунта досить. Читати й перевіряти себе може кожен.

Пліч-о-пліч

Перші стовпці — з каталогу Linear model family; решта — з кожної сторінки.

Скажіть, на що відповідає кожна, чого вона не бачить і коли її обирати, а тоді відкрийте її рядок.

Модель	Штраф	Обнуляє коефіцієнти?	Гіперпараметри	Обирайте, коли	Пастка
Linear regression Показати Linear regression	немає	Ні	немає	інтерпретовність важить так само, як точність	Коефіцієнт — це не причина.
Ridge Показати Ridge	L2 — ‖w‖²	Ні	alpha	більшість ознак несуть якийсь сигнал, а модель має бути стабільною	Ridge ніколи не дасть вам розрідженої моделі.
Lasso Показати Lasso	L1 — ‖w‖₁	Так	alpha	більшість ознак зайві, і модель має сказати, які саме	Корельовані ознаки роблять відбір нестабільним.
Elastic Net Показати Elastic Net	L1 + L2	Так	alpha, l1_ratio	потрібна розрідженість, а ознаки корельовані	Два гіперпараметри означають 2D-пошук.
Bayesian ridge Показати Bayesian ridge	L2, вивчений	Ні	не налаштовуються	потрібна відкалібрована невизначеність або даних мало	Широкий інтервал — інформація, а не дефект.
Polynomial Показати Polynomial	сам по собі немає	Ні	degree	кривина гладка й невисокого порядку	Екстраполяція катастрофічна, а не просто ненадійна.
Logistic Показати Logistic	L2 за замовчуванням	через l1_ratio	C, l1_ratio	потрібні надійні ймовірності й коефіцієнти, які можна відстояти	C працює навпаки до alpha.

Формулу наведено, лише коли вона коротша за слова; решту сказано словами, а формула є на кожній сторінці.

Легко сплутати

Питання «чим відрізняється…» — кожне у два рядки.

Ridge regression проти Lasso regression
Ridge стискає кожен коефіцієнт і лишає їх усі; lasso обнуляє деякі точно.
Ridge — коли важить більшість ознак; lasso — коли більшість ні, і модель має довести, які.
Lasso regression проти Elastic Net
З групи корельованих ознак lasso схильний лишати одну, майже навмання; еластична сітка схильна лишати групу.
Еластична сітка — коли ознаки йдуть корельованими групами або коли невідомо, який штраф пасує.
Linear regression проти Logistic regression
Обидві рахують зважену суму ознак; логістична регресія перетворює її на ймовірність.
Логістична — для результату «так чи ні», у логарифмах шансів; лінійна — для числа.
α проти C
α у ridge і lasso — сила штрафу; C у логістичної регресії — обернена до неї величина.
Більше α — сильніший штраф; більше C — слабший. Шукайте обидва на логарифмічній шкалі.

Один справжній запуск

П’ятдесят ознак, п’ять із сигналом і в кожної майже близнюк; кожен штраф налаштовано перехресною перевіркою.

Модель	MSE	Лишено	Сигнал	Близнюки	Сталість
ols	6.95	50	5	5	1.00
ridge	6.14	50	5	5	1.00
lasso	4.46	20	4	2	0.45
elastic-net	5.10	35	5	5	0.63

«Lasso прогнозує найкраще і все одно обирає погано.»

«Еластична сітка тримає пари разом.»

«Ridge стискає і лишає все.»

Запуск і ці рядки — практичний приклад зі сторінки «Regularization», як його виведено: 50 features, 5 with signal, each with a near-twin; 100 training rows

Що обрати?

Чи результат — клас?
- Так, «так чи ні» Logistic regression
Чи важить більшість ознак?
- Так, більшість несуть якийсь сигнал Ridge regression
- Ні, більшість — шум Lasso regression
- Невідомо, і вони йдуть групами Elastic Net
Чи залежність крива?
- Гладко, невисокого порядку Polynomial regression
Чи потрібна невизначеність кожного прогнозу?
- Так, або даних мало Bayesian linear regression