Validation strategies

Прочитайте стовпець Ламається, коли раніше за інші. Кожен рядок цієї таблиці видає число, хоч які дані ви йому дасте, а спліттер, що не пасує вашим даним, не скаржиться — він повертає вищу оцінку. Саме ця асиметрія робить таблицю вартою запам’ятовування, а не довідковою.

Перші три рядки — один метод із доданими запобіжниками

Відкладена вибірка, k-кратна і стратифікована k-кратна крос-валідація різняться лише тим, скільки структури вони обіцяють зберегти. K-кратна — це «концептуально просте покращення порівняно з одноразовим поділом на навчальний і тестовий набори» [2, §1.2], а стратифікація — це k-кратна з однією додатковою гарантією: кожен фолд «містить приблизно той самий відсоток зразків кожного цільового класу, що й повний набір» [1, §3.1.2.2].

На задачі класифікації немає причин віддавати перевагу простій k-кратній перед стратифікованою. Вона коштує стільки ж і виключає фолд, якому випадково бракує класу.

Наступні три рядки існують тому, що рядки не незалежні

Тут таблиця й відпрацьовує своє. KFold припускає, що будь-який рядок може опинитися навпроти будь-якого іншого, а три поширені види даних це порушують.

Згруповані дані. Коли кілька рядків походять від одного суб’єкта, випадковий поділ кладе того самого суб’єкта по обидва боки. Групові фолди гарантують, «що та сама група не представлена і в тестовому, і в навчальному наборах», а це важить саме тоді, коли «модель достатньо гнучка, щоб вчитися з дуже специфічних для людини ознак» [1, §3.1.2.4]. Наслідок помилки тут не тонкий: це витік, і категорія [L3.2] огляду описує «крайній (але, на жаль, поширений) випадок», коли «навчальні й тестові зразки походять від тих самих людей чи одиниць» [3, §2.4].

Упорядковані дані. Для часових рядів «послідовні навчальні набори є надмножинами тих, що йдуть перед ними» [1, §3.1.2.6], бо тестовий набір «не повинен містити жодних даних з дати, що передує навчальному набору» [3, §2.4].

Перемішування заслуговує на окреме застереження, бо в багатьох місцях воно є типовим налаштуванням і іноді саме хибне. Для рядків, упорядкованих за часом, «перемішування даних, імовірно, дасть перенавчену модель і роздуту валідаційну оцінку: її тестуватимуть на зразках, штучно схожих (близьких у часі) на навчальні» [1, §3.1.3].

Чого не дає жоден із них

Оцінки вашої моделі. Кожен рядок цієї таблиці оцінює середню похибку процедури по наборах даних, а не похибку тієї підгонки, яку маєте ви. Цю відмінність доведено, а не проголошено: крос-валідація «дає мало інформації» про похибку наявної моделі, і її «слід розглядати як оцінку Err, а не Err_XY» [2, §3.1].

Придатного довірчого інтервалу. Похибки фолдів корельовані, бо кожен рядок використовується і для навчання, і для тестування, тож звичайна оцінка дисперсії замала, а інтервали завузькі [2, §1]. Справа не в ретельності: «не існує незміщеного оцінювача стандартної похибки точкової оцінки CV на основі одного запуску CV» [2, §1.2]. Ліки статті — вкладена крос-валідація [2, §4.3], і саме їй відведено останній рядок таблиці.

Що обрати

Почніть зі стратифікованої k-кратної з k = 5. Це правильне типове налаштування майже для кожної задачі класифікації з незалежними рядками.

Переходьте на групову, щойно щось повторюється, — і перевіряйте, а не припускайте, бо одиниці, що повторюються, часто не ті, що названі в схемі даних.

Переходьте на часові ряди щоразу, коли прогноз стосується майбутнього, і змиріться з тим, що перші фолди навчатимуться на дуже малому.

Додайте вкладену, коли ви налаштовуєте й звітуєте те саме число, яке інакше є максимумом багатьох шумних оцінок [1, §3.1.4].

Хоч що б ви робили ще, тримайте відкладену вибірку, на яку подивитеся один раз, наприкінці. Це єдиний рядок цієї таблиці, що оцінює те, що, на думку зацікавленої сторони, означає число.