Який поділ — і що просочується?

Сім способів поділити дані пліч-о-пліч, пари, які плутають, і один запуск, де та сама модель отримує іншу оцінку на кожному поділі.

друкується на 2 сторінках A4з 8 сторінок і 1 каталогучитати безкоштовно · PDF — із безкоштовним акаунтомОновлено 23 жовт. 2026 р.

Завантажити PDFСамоперевірка

PDF і кнопка «Друкувати» просять увійти; безкоштовного акаунта досить. Читати й перевіряти себе може кожен.

Пліч-о-пліч

Перші стовпці — з каталогу Validation strategies; решта — з кожної сторінки.

Скажіть, на що відповідає кожна, чого вона не бачить і коли її обирати, а тоді відкрийте її рядок.

Стратегія	Навчань моделі	Кожен рядок тестується	Зберігає	Ламається, коли	Обирайте, коли	Пастка
Holdout Показати Holdout	1	один раз або ніколи	за замовчуванням нічого	набір даних малий	завжди, для однієї фінальної оцінки, яка лише звітує	Звітувати один поділ так, ніби він і є відповіддю.
K-fold Показати K-fold	k	рівно один раз	за замовчуванням нічого	рядки не взаємозамінні	даних так мало, що один відкладений поділ був би шумним	Вибір моделі за оцінкою CV і подання тієї самої оцінки.
Stratified k-fold Показати Stratified k-fold	k	рівно один раз	баланс класів	рядки згруповані чи впорядковані	ціль — клас, особливо рідкісний	Нестратифіковані фолди на незбалансованій цільовій змінній
Grouped k-fold Показати Grouped k-fold	k	рівно один раз	межі груп	групи невідомі	рядки йдуть групами — пацієнти, користувачі, сесії	Випадкові поділи на згрупованих даних.
Time series split Показати Time series split	k	щонайбільше один раз	часовий порядок	ви їх перемішуєте	модель застосовуватимуть до майбутнього	Перемішування залежних даних
Leave-one-out Показати Leave-one-out	n	рівно один раз	за замовчуванням нічого	n велике або потрібен інтервал	набір даних крихітний	Читання стандартного відхилення по фолдах як стандартної похибки.
Nested cross-validation Показати Nested cross-validation	k × m	рівно один раз на цикл	межа вибору	бюджету не вистачає	ви налаштовуєте модель і мусите ще й чесно її оцінити	Звіт про найкращий результат пошуку як про якість моделі.

Формулу наведено, лише коли вона коротша за слова; решту сказано словами, а формула є на кожній сторінці.

Легко сплутати

Питання «чим відрізняється…» — кожне у два рядки.

Holdout проти Cross-validation
0.75 проти 0.92 Тестових рядків: 120
Відкладений поділ — одна вибірка з розкиду оцінок; перехресна перевірка усереднює k таких.
Перехресна — коли поділ шумний; відкладений — на один фінальний погляд.
Валідаційна вибірка проти Тестовий набір
Обидва поза навчанням; валідаційна обирає ознаки й налаштування, тестовий набір лише звітує.
Обране на тестовому наборі завищує його оцінку. Дивіться на нього раз, наприкінці.
K-fold проти Grouped k-fold
K-fold розкидає рядки суб’єкта по фолдах; grouped k-fold тримає кожного суб’єкта з одного боку поділу.
Групуйте, коли рядки йдуть одиницями; зайва точність тут — впізнавання, а не вміння.
Overfitting проти Data leakage
Перенавчання — модель надто добре вивчила навчальні рядки; витік — оцінювання бачить зайве.
Перенавчання видно з поганої оцінки; витік ховається за надто доброю.
Early stopping проти Regularization
Обидві жертвують підгонкою заради узагальнення; одна обмежує час навчання, друга — розмір ваг.
Рання зупинка майже безкоштовна для моделей, що вчаться епохами; штраф — для лінійних з багатьма ознаками.

Один справжній запуск

Та сама модель на тих самих даних, поділених 400 різними способами за чотирьох розмірів тестового набору.

Тестових рядків	Середня	Ст. відх.	Найгірша	Найкраща	Розкид падає
120	0.83	0.03	0.75	0.92	0.17
240	0.83	0.02	0.77	0.89	0.12
420	0.83	0.02	0.79	0.87	0.08
600	0.83	0.01	0.80	0.87	0.07

Запуск і ці рядки — практичний приклад зі сторінки «Train-test split», як його виведено: the same model and the same data, split 400 different ways

Що обрати?

Чи досить стабільний один поділ?
- Так, даних багато Train-test split
- Ні, оцінка рухається разом із поділом Cross-validation
Чи незалежні рядки?
- Ні, вони йдуть групами Data leakage
- Ні, вони впорядковані в часі Cross-validation
Ви ще й обираєте модель?
- Так, пошуку потрібен власний цикл Hyperparameter tuning
Оцінка виглядає неправильною?
- Надто добра, щоб бути правдою Data leakage
- Набагато нижча за навчальну Overfitting