Linear model family

Одна модель, кілька цільових функцій

Кожен рядок вище прогнозує тим самим виразом — зваженою сумою ознак плюс вільним членом. Жоден із них не відрізняється тим, що обчислює під час прогнозу. Вони відрізняються тим, що мінімізують під час підгонки, а це цілком питання того, який штраф прикручено до втрат квадратичної похибки.

Еластична сітка робить цей зв’язок явним, бо містить дві інші моделі: її цільова функція несе обидва штрафи, зважені через l1_ratio, і за l1_ratio = 0 штраф суто L2 — Ridge, — а за l1_ratio = 1 він суто L1 — Lasso [1, l1_ratio]. Ridge і Lasso є не так братами еластичної сітки, як її кінцевими точками.

Вибір — це твердження про ваші ознаки

Рішення полягає не в тому, «що працює краще», а в тому, «у що я вірю»:

• Більшість ознак несуть трохи сигналу → Ridge. Нічого не відкидається, усе притишується.
• Більшість ознак зайві → Lasso. L1 «дає розв’язок, який розрідженіший» [2, §7.1.2]. Розрідженість є припущенням, і модель діятиме за ним.
• Потрібні ознаки йдуть корельованими групами → еластична сітка. Lasso лишив би одну з кожної групи довільно; компонента L2 цьому запобігає.
• Не хочу нічого налаштовувати, і потрібна невизначеність → баєсівський ridge.

Якщо ви не впевнені, еластична сітка може дійти до будь-якої з трьох через пошук — ціною другого гіперпараметра, l1_ratio [1, l1_ratio].

Два рядки, що не є штрафами

Два рядки ламають закономірність, і їх варто розглянути окремо.

Поліноміальна регресія змінює ознаки, а не цільову функцію. Це крок передобробки, що передає звичайним найменшим квадратам ширшу матрицю, і він додає місткість, а не прибирає її, — тому його майже завжди поєднують зі штрафом, а не використовують самостійно.

Логістична регресія змінює задачу. Це єдиний рядок, що не прогнозує величину: зважена сума проходить через сигмоїду й виходить ймовірністю. Її параметр штрафу теж працює навпаки — C є оберненою величиною до сили регуляризації, тоді як Ridge і Lasso використовують alpha напряму.

Практична порада

Масштабуйте ознаки перед будь-яким зі штрафованих рядків. Усі ці штрафи діють на сиру величину коефіцієнта, а величина коефіцієнта залежить від одиниць — тож без масштабувальника ви караєте ознаки за те, що їх виміряли в міліметрах.

Налаштовуйте вбудованими крос-валідованими варіантами (RidgeCV, LassoCV, ElasticNetCV), а не саморобною сіткою. Вони використовують шлях регуляризації і значно швидші за повторну підгонку з нуля на кожному значенні.