складність 4/5
Boosting
Навчати слабких навчальників послідовно, кожного на версії даних, перезваженій так, щоб підкреслити те, що попередні зробили не так, і поєднати їх у зважене голосування.
Інтуїція
Беггінг запускає свої моделі паралельно й ставиться до них як до рівних. Бустинг запускає їх одне за одним і ставиться до них як до фахівців: кожну нову модель просять зосередитися саме на тих прикладах, на яких комітет досі й далі помиляється.
Механізм — це зміна наголосу, а не зміна даних. Після кожного раунду приклади, які було класифіковано неправильно, стають важчими, тож наступний навчальник — підганяючись так само, як він робить це завжди, — вважає, що варто розбити там, де це їм допоможе. Легкі приклади відходять у фон, бо з ними вже впоралися [1, §1.11.7].
Саме тому бустинг працює з моделями, які поодинці майже нічого не варті. Одне розбиття на діагональній межі є поганим класифікатором. Сотня таких, кожне націлене на іншу залишкову кишеню помилок, є дуже добрим.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Tree ensembles →
Джерела
- scikit-learn User Guide — Ensembles: Gradient boosting, random forests, bagging, voting, stackingdocs · звірено 2026-09-05https://scikit-learn.org/stable/modules/ensemble.html
- XGBoost: A Scalable Tree Boosting System (2016)paperhttps://arxiv.org/abs/1603.02754