Беггінг чи бустинг?
П’ять ансамблів дерев пліч-о-пліч, пари, які плутають, і один запуск, де беггінг лікує дисперсію, а бустинг — зміщення.
друкується на 2 сторінках A4з 5 сторінок і 1 каталогучитати безкоштовно · PDF — із безкоштовним акаунтомОновлено 23 жовт. 2026 р.
PDF і кнопка «Друкувати» просять увійти; безкоштовного акаунта досить. Читати й перевіряти себе може кожен.
Пліч-о-пліч
Перші стовпці — з каталогу Tree ensembles; решта — з кожної сторінки.
Формулу наведено, лише коли вона коротша за слова; решту сказано словами, а формула є на кожній сторінці.
Легко сплутати
Питання «чим відрізняється…» — кожне у два рядки.
Беггінг усереднює членів, що перенавчаються, усіх одразу; бустинг додає членів, що недонавчаються, одного за одним.
Беггінг — для моделі, чия проблема дисперсія; бустинг — для тієї, чия проблема зміщення.
Bagging проти Random forest
Ліс — це беггінг дерев, кожне розбиття яких бачить лише випадкову підмножину ознак, тож вони більше розходяться.
Ліс — звичайний вибір за замовчуванням; простий беггінг може бути кращим, коли сигнал несуть кілька ознак.
Random forest проти Gradient boosting
Ліс важко зіпсувати, і він мало потребує налаштування; бустинг зазвичай точніший на таблицях.
Почніть із лісу, щоб побачити, чи є сигнал; налаштовуйте бустинг, коли важать останні пункти.
Темп навчання проти Раунди
Кожен раунд додає крок розміром із темп навчання, тож менший темп потребує більше раундів для тієї самої підгонки.
Зафіксуйте малий темп, а кількість раундів хай обере рання зупинка.
Один справжній запуск
Шість моделей, кожну навчено на 100 вибірках однієї задачі; похибка розкладається на зміщення² і дисперсію.
| Модель | Зміщення² | Дисперсія | Тестова MSE |
|---|---|---|---|
| stump | 16.67 | 3.01 | 20.68 |
| deep-tree | 3.65 | 9.14 | 13.79 |
| bagged-trees | 4.31 | 1.38 | 6.69 |
| random-forest | 5.81 | 0.86 | 7.67 |
| boosted-stumps | 2.23 | 1.01 | 4.24 |
| boosted-trees | 1.72 | 1.52 | 4.25 |
«Беггінг зменшує дисперсію і не чіпає зміщення.»
«Бустинг зменшує зміщення.»
«Декореляція дерев тут коштує зміщення.»
Запуск і ці рядки — практичний приклад зі сторінки «Boosting», як його виведено: 100 training sets of 200 rows each, noise variance 1.00
Що обрати?
Де похибка?
- Дисперсія — модель перенавчається Bagging · Random forest
- Зміщення — модель недонавчається Boosting · Gradient boosting
Потрібна базова лінія швидко?
- Так, без довгого налаштування Random forest
Модель має бути прочитною?
- Так, кожне розбиття видно Decision tree
Кожна відповідь — з розділу «Чому і коли» своєї сторінки.
Усі пастки цих сторінок: 24
Кожна — перший рядок однієї з типових помилок; чому — пояснює її сторінка.
Decision tree
- Необмежене дерево перенавчиться — надійно.
- Малі зміни даних дають інші дерева.
- Важливості ознак за нечистотою зміщені.
- Розбиття вирівняні за осями.
Bagging
- Беггувати стабільну модель і чекати виграшу.
- Вважати позамішкову похибку безкоштовною перехресною перевіркою в кожному випадку.
- Читати важливості ознак беггованої моделі так, ніби це важливості дерева.
- Вважати, що більше членів може зашкодити.
- Бутстрепити залежні рядки.
Random forest
- Лишати max_features на «all».
- Довіряти вбудованим важливостям ознак.
- Налаштовувати кількість дерев так, ніби це параметр регуляризації.
- Чекати каліброваних ймовірностей.
- Застосовувати його до даних із сильними вимогами до екстраполяції.
Boosting
- Бустити глибокі дерева.
- Припускати, що більше раундів — це безпечно.
- Викиди й шум у мітках.
- Порівнювати α з AdaBoost з імовірністю.
- Вважати бустинг і беггінг взаємозамінними «ансамблями».
Gradient boosting
- Кількість раундів без ранньої зупинки.
- Налаштування η і M незалежно.
- Глибокі дерева.
- Припущення, що швидкі реалізації — повноцінна заміна.
- Важливості ознак бустингової моделі як істина.