складність 4/5
Gradient boosting
Бустинг, узагальнений на будь-яку диференційовну втрату: кожне нове дерево підганяють до від’ємного градієнта втрат у поточних прогнозах і додають із коефіцієнтом стягування.
Інтуїція
AdaBoost перезважує приклади. Градієнтний бустинг робить те, що виявляється загальнішим і, щойно побачиш, простішим: він підганяє кожну нову модель до самих помилок.
Для квадратичної похибки це буквально залишок — те, що лишилося після того, як поточний ансамбль сказав своє. Підженіть невелике дерево до цих залишків, додайте його, перерахуйте залишки, повторіть. З кожним раундом ціль змінюється, і ціль — це завжди «та частина, яку ми ще не пояснили».
Узагальнення й дало назву. Залишки — це від’ємний градієнт квадратичних втрат за прогнозом. Підставте інші втрати, і від’ємний градієнт буде чимось іншим, але процедура не зміниться. Ця одна заміна перетворює один алгоритм на каркас для будь-якої диференційовної цільової функції [1, §1.11.1.2.3].
Це градієнтний спуск, виконаний у просторі функцій, а не параметрів, по одному дереву за крок.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Tree ensembles →
Джерела
- scikit-learn User Guide — Ensembles: Gradient boosting, random forests, bagging, voting, stackingdocs · звірено 2026-09-05https://scikit-learn.org/stable/modules/ensemble.html
- XGBoost: A Scalable Tree Boosting System (2016)paperhttps://ar5iv.labs.arxiv.org/html/1603.02754
- LightGBM: A Highly Efficient Gradient Boosting Decision Tree (2017)paperhttps://proceedings.neurips.cc/paper_files/paper/2017/hash/6449f44a102fde848669bdd9eb6b76fa-Abstract.html