складність 3/5
Regularization
Додавання штрафу за розмір коефіцієнтів до цільової функції моделі: вона міняє трохи якості підгонки на навчальних даних на значно кращу поведінку на даних, яких не бачила.
Інтуїція
Метод найменших квадратів має одну інструкцію: зробити похибку на навчальних даних якнайменшою. За достатньої кількості ознак він виконає цю інструкцію просто в прірву — підганяючись під шум у навчальному наборі, породжуючи величезні коефіцієнти, що взаємно гасяться, і розвалюючись тієї миті, коли зустріне нові дані.
Регуляризація змінює інструкцію. Вона додає до цільової функції другий член, що зростає разом із розміром коефіцієнтів, тож тепер модель мусить виправдати кожен використаний коефіцієнт. Якість підгонки й далі важлива; просто вона більше не безкоштовна.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Validation and generalisation →На шпаргалці: Linear models →
Джерела
- scikit-learn — sklearn.linear_model.Ridgedocs · звірено 2026-08-31https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Ridge.html
- Deep Learning (2016)book · звірено 2026-10-07https://www.deeplearningbook.org/contents/regularization.html