складність 3/5
Multiple comparisons
Проженіть двадцять тестів на рівні 5% — і зазвичай щось знайдете. Поправки різняться тим, що обіцяють, і чесний вибір — яку помилку ви радше зробите.
Інтуїція
Перевірка гіпотез встановлює ціну за тест: за α = 0.05 ви погоджуєтеся на 5% шанс назвати шум знахідкою. Проженіть один тест — і заплатите раз. Downey формулює наслідок одним рядком: «Якщо ви проводите один тест гіпотези, шанс хибнопозитивного результату — приблизно 1 з 20, що може бути прийнятним. Але якщо ви проводите 20 тестів, варто чекати щонайменше одного хибнопозитивного результату, здебільшого» [1, §9.11].
NIST ставить застереження в одне речення: «Раз у раз виконувати процедури попарного порівняння для всіх можливих пар, загалом, не спрацює. Це тому, що загальний рівень значущості не такий, як задано для порівняння однієї пари» [2, §7.4.7].
Кожен фахівець з даних проганяє багато тестів, зазвичай не помічаючи: дашборд із тридцятьма метриками, перебір у відборі ознак, модель, порівняна на десяти сегментах, A/B-тест, прочитаний на кожній сторінці воронки. Питання цієї сторінки не в тому, чи коригувати, — а в тому, яку обіцянку ви хочете, бо дві доступні обіцянки коштують дуже по-різному.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Think Stats, 2nd ed.book · звірено 2026-09-18https://greenteapress.com/thinkstats2/html/thinkstats2010.html
- NIST/SEMATECH e-Handbook — How can we make multiple comparisons?docs · звірено 2026-09-18https://www.itl.nist.gov/div898/handbook/prc/section4/prc47.htm
- SciPy — scipy.stats.false_discovery_controldocs · звірено 2026-09-18https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.false_discovery_control.html
- statsmodels — multipletestsdocs · звірено 2026-09-18https://www.statsmodels.org/stable/generated/statsmodels.stats.multitest.multipletests.html