складність 3/5
Random forest
Беггінг дерев рішень із другим джерелом випадковості: кожне розбиття може розглядати лише випадкову підмножину ознак, що декорелює дерева й дає усередненню зробити набагато більше.
Інтуїція
Беггінг усереднює дерева, вирощені на бутстреп-пересемплах, і впирається в стіну: пересемпли перекриваються, тож дерева схожі, а усереднення схожих речей майже не допомагає. Якщо одна ознака сильно прогностична, кожне дерево першим ділить саме за нею, і сорок дерев, що починаються однаково, — це майже одне дерево, повторене сорок разів.
Випадковий ліс навмисно ламає цю одностайність. На кожному розбитті дереву дозволено дивитися лише на випадкову жменю ознак, тож домінантна ознака в багатьох вузлах просто недоступна, і дерево змушене шукати, що ще там є. Поодинці дерева стають гіршими. Разом — набагато кращими, бо тепер вони помиляються по-різному [1, §1.11.2.1].
Ось контрінтуїтивна частина, яку варто запам’ятати: алгоритм навмисно послаблює кожного члена, щоб посилити ансамбль.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Tree ensembles →
Джерела
- scikit-learn User Guide — Ensembles: Gradient boosting, random forests, bagging, voting, stackingdocs · звірено 2026-09-05https://scikit-learn.org/stable/modules/ensemble.html
- A Random Forest Guided Tour (2015)paperhttps://ar5iv.labs.arxiv.org/html/1511.05741
- Understanding Random Forests: From Theory to Practice (2014)paperhttps://arxiv.org/abs/1407.7502