Машинне навчання · 5 у порівнянні
Missing-data methods
Відкинути рядки чи заповнити пропуски — обидва рішення про відповідь. Що з них безпечне, залежить від того, чому значення бракує, і від того, яке число ви подаєте.
Порівняння
| Назва Що робить | За MAR | Розкид і зв’язки | Невизначеність |
|---|---|---|---|
| Повні випадки Відкинути кожен рядок із пропуском. Коштує лише розміру вибірки, коли пропуски випадкові; інакше змінює, хто лишився. Повна сторінка → | середнє хибне, нахил правильний | збережено | чесна, на меншій кількості рядків |
| Імпутація середнім Заповнити кожен пропуск середнім стовпця. Ставить пік у центрі й послаблює кожен зв’язок, у якому бере участь стовпець. Повна сторінка → | середнє хибне, нахил стиснутий | стиснутий | занижена |
| Регресійна імпутація Передбачити кожен пропуск з інших стовпців. Відновлює те, що ці стовпці пояснюють, і кладе кожну заповнену точку на пряму. Повна сторінка → | середнє й нахил відновлено | зв’язки перебільшено | занижена |
| Регресія + залишки Той самий прогноз плюс залишок, узятий зі спостережених рядків, тож заповнені точки розкидані, як справжні. Повна сторінка → | середнє й нахил відновлено | збережено | занижена |
| Множинна імпутація Імпутувати кілька разів із різними випадковими виборами й поєднати, щоб аналіз бачив, наскільки непевні заповнені значення. Повна сторінка → | наскільки дозволяє її імпутер | збережено | перенесена в результат |
На шпаргалці: Missing data and outliers →
Відкинути чи заповнити
Відкидання неповних рядків «коштує втрати даних, які можуть бути цінними (хоч і неповними)»; альтернатива — імпутувати, тобто «вивести їх із відомої частини даних» [1, §8.4]. Жоден спосіб не вигадає того, що ніколи не записали, і обидва змінюють відповідь, коли пропуски не випадкові.
Чому значень бракує — вирішує рядок
Якщо значень бракує цілком випадково, кожен рядок тут безпечний для середнього. Якщо їх бракує через інший стовпець, який у вас є, модель цього стовпця відновлює відповідь. Якщо їх бракує через саме значення, жоден рядок цього не відновить: інформація пішла разом із видаленими значеннями. Сторінка пропущені дані вимірює всі три випадки.
Як читати рядки
Заповнені значення схожі на спостережені. Заповнення ряду гладкою оцінкою «применшує шум у ряді», а засіб — «додати перевибрані залишки» [2, §12.5]: різниця між третім і четвертим рядками.
Одна імпутація занижує невизначеність. Ітеративний імпутер scikit-learn
повертає одну імпутацію і «може використовуватися й для множинних імпутацій, якщо
застосовувати його багаторазово до того самого набору даних із різними випадковими
зернами за sample_posterior=True» [1, §8.4.3.2].
Тримайте пропуски видимими. «Під час імпутації збереження інформації про те, яких значень бракувало, може бути інформативним» [1, §8.4.6]: додайте стовпець-індикатор, хай який рядок ви оберете.
Джерела
- scikit-learn User Guide — Imputation of missing valuesdocs · звірено 2026-10-24https://scikit-learn.org/stable/modules/impute.html
- Think Statsbook · звірено 2026-10-24https://greenteapress.com/thinkstats2/html/thinkstats2013.html