складність 3/5
Data leakage
Будь-який шлях, яким до моделі доходить інформація, якої не було б під час прогнозування. Вона робить не модель гіршою, а оцінку кращою — тому й переживає рецензію.
Інтуїція
Кожна інша помилка моделювання заявляє про себе сама. Недонавчання — і оцінка погана; перенавчання — і погана оцінка на відкладеній вибірці. Витік — єдина поломка, яка робить кожне число, на яке ви дивитеся, кращим, і саме тому він переживає рецензування, дашборди й демонстрації, а виринає лише тоді, коли модель зустрічає справжні входи.
Визначення коротке і варте запам’ятовування: витік «трапляється, коли при побудові моделі використано інформацію, яка не була б доступною під час прогнозування» [2, §12.2].
Пастка в тому, що винна інформація рідко скидається на відповідь. Це середнє, яке ви відняли, пораховане по всіх рядках. Це ознака, яку ви лишили, бо вона добре себе показала — на всьому наборі даних. Це пацієнт, який з’являється в обох половинах поділу під двома різними ідентифікаторами візиту. Ніщо з цього не скидається на шахрайство, поки ви це робите, і все це ним є.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Validation and generalisation →
Джерела
- Leakage and the Reproducibility Crisis in ML-based Science (2023)paperhttps://ar5iv.labs.arxiv.org/html/2207.07048
- scikit-learn User Guide — Common pitfalls and recommended practicesdocs · звірено 2026-09-06https://scikit-learn.org/stable/common_pitfalls.html