складність 3/5
Feature importance
Ранжування входів за тим, наскільки на них спирається навчена модель — типова міра для ансамблів дерев зміщена до ознак високої потужності, а чесна міра вимірюється на відкладених даних.
Інтуїція
Випадковий ліс — це сотні дерев завглибшки, і прочитати його не може ніхто. Тому кожна реалізація видає втішний приз: стовпчикову діаграму того, які ознаки мали значення. Це той вивід, який у прикладному машинному навчанні знімають на екран найчастіше, і його типова версія вимірювано хибна в конкретному передбачуваному напрямку.
Проблема в тому, відносно чого міряють це «мало значення». Вбудована міра рахує, наскільки кожна ознака зменшила неоднорідність по всіх розбиттях, які її використали. Ознака, що набуває багатьох різних значень, дістає багато шансів дати розбиття, яке добре виглядає на навчальних даних — зокрема й тоді, коли вона є чистим шумом. Вона накопичує заслуги за розбиття, які не відтворяться [1, §5.2.2].
Альтернатива ставить питання, яке так обхитрити не можна: перетасуйте цей стовпець і подивіться, наскільки гіршою стає модель на даних, яких вона ніколи не бачила. Якщо відповідь — «зовсім не гіршою», то модель на неї не спиралася, хоч би що казала бухгалтерія неоднорідності.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- scikit-learn User Guide — Permutation feature importancedocs · звірено 2026-09-05https://scikit-learn.org/stable/modules/permutation_importance.html
- A Random Forest Guided Tour (2015)paperhttps://ar5iv.labs.arxiv.org/html/1511.05741
- Understanding Random Forests: From Theory to Practice (2014)paperhttps://arxiv.org/abs/1407.7502