складність 3/5
Bagging
Підганяти ту саму нестабільну модель до багатьох бутстреп-пересемплувань одного набору даних і усереднювати результати — дисперсія падає, зміщення ні, і в самій моделі міняти нічого не треба.
Інтуїція
Дерево рішень, вирощене вглиб, є нервовою моделлю. Зсуньте одну точку — і розбиття біля кореня може перекинутися на зовсім іншу ознаку, а кожне розбиття під ним зміниться. Два дерева, вирощені на двох вибірках із тієї самої сукупності, можуть розходитися всюди, і обидва при цьому будуть розумними.
Ця нестабільність не є вадою, яку треба виправити, — вона є ресурсом. Модель, яка сильно коливається навколо правильної відповіді, є саме тією, чиє середнє краще за будь-якого з її членів. Підженіть її багато разів на трохи різних даних, усередніть прогнози — і дивацтва взаємно знищаться, а сигнал, який однаковий у кожній підгонці, ні.
Трюк у тому, звідки беруться «трохи різні дані», бо набір даних у вас лише один. Бутстреп-пересемплування їх виробляє: витягніть n рядків із поверненням, підженіть, повторіть [2, §7.11].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Tree ensembles →
Джерела
- scikit-learn User Guide — Ensembles: Gradient boosting, random forests, bagging, voting, stackingdocs · звірено 2026-09-05https://scikit-learn.org/stable/modules/ensemble.html
- Deep Learning (2016)book · звірено 2026-10-07https://www.deeplearningbook.org/contents/regularization.html