Пропуски й викиди — відкинути чи заповнити?
П’ять способів упоратися з пропусками пліч-о-пліч, пари, які плутають, і один запуск, де відкидання рядків дає хибне середнє і правильний нахил.
друкується на 2 сторінках A4з 4 сторінки і 1 каталогучитати безкоштовно · PDF — із безкоштовним акаунтомОновлено 24 жовт. 2026 р.
PDF і кнопка «Друкувати» просять увійти; безкоштовного акаунта досить. Читати й перевіряти себе може кожен.
Пліч-о-пліч
Перші стовпці — з каталогу Missing-data methods; решта — з кожної сторінки.
Формулу наведено, лише коли вона коротша за слова; решту сказано словами, а формула є на кожній сторінці.
Легко сплутати
Питання «чим відрізняється…» — кожне у два рядки.
MAR проти MNAR
MAR — пропуски залежать від стовпців, які у вас є; MNAR — від самих пропущених значень.
MAR — імпутуйте з тих стовпців; MNAR — жоден метод не виправить, тож покажіть, наскільки рухається відповідь.
Заповнене значення проти Індикатор пропуску
Заповнення робить пропуск схожим на спостереження; стовпець-індикатор зберігає факт, що він був порожній.
Заповнюйте й додавайте індикатор; те, що значення не записали, часто є сигналом.
Викид проти Помилка
Викид незвичний; помилка хибна. Тест знаходить перше, лише походження даних доводить друге.
Видаляйте лише те, що можете показати хибним; решту лишайте й беріть стійкий метод.
Підігнано на всіх даних проти Підігнано у фолді
Імпутер чи масштабувальник, підігнаний на всіх даних, бачив тестові рядки; підігнаний у фолді — ні.
Завжди у фолді, всередині конвеєра, який перевіряють перехресно.
Один справжній запуск
Кожен метод за кожного механізму, видалено 35–40% y, а згори — істина.
| Метод | Нахил, MCAR | Середнє, MAR | Нахил, MAR | Кор., MAR | Середнє, MNAR |
|---|---|---|---|---|---|
| truth | 2.00 | 1.00 | 2.00 | 0.89 | 1.00 |
| complete case | 1.99 | 0.13 | 2.00 | 0.86 | 0.04 |
| mean imputation | 1.30 | 0.13 | 0.88 | 0.57 | 0.04 |
| regression imputation | 1.99 | 1.01 | 2.00 | 0.93 | 0.76 |
| + resampled residuals | 1.99 | 1.01 | 2.00 | 0.89 | 0.76 |
«Імпутація середнім — не м’яке наближення, а перетворення даних.»
«За MAR те, яку оцінку ви хотіли, вирішує, чи є у вас проблема.»
«За MNAR не працює ніщо.»
Запуск і ці рядки — практичний приклад зі сторінки «Missing data», як його виведено: each method under each mechanism, against the truth
Що обрати?
Що не так зі стовпцем?
- Частини значень бракує Missing data
- Деякі значення екстремальні Outliers
- Це текст чи категорія Feature engineering
Де підігнано імпутер і масштабувальник?
- На всіх даних Data leakage
Кожна відповідь — з розділу «Чому і коли» своєї сторінки.
Усі пастки цих сторінок: 21
Кожна — перший рядок однієї з типових помилок; чому — пояснює її сторінка.
Missing data
- Припущення MCAR, бо так зручно.
- Імпутація середнім на ознаці для моделювання.
- Підгонка імпутера до поділу.
- Відкидання індикатора пропусків
- Довіра інтервалу чи p-значенню, обчисленим після одноразової імпутації.
- Очікування, що кращий алгоритм розв’яже MNAR.
Outliers
- Застосовувати |Z| > 3 до малої вибірки.
- Запускати тест на один викид повторно.
- Тестувати на викиди, не перевіривши розподіл.
- Видаляти лише на підставі тесту.
- Видаляти викиди з тестового набору.
- Вважати робастність безкоштовною.
Feature engineering
- Підгонка перетворення на всіх даних.
- Просочування цілі.
- Розбіжність навчання й обслуговування.
- Порядкове кодування невпорядкованих категорій.
Data leakage
- Вірити, що пайплайна досить.
- Випадкові поділи на згрупованих даних.
- Прибирати дублікати після поділу
- Налаштовуватися на тестовій вибірці.
- Пересемплування до поділу.