Статистика · 5 у порівнянні
Multiple-testing corrections
Перевірте багато речей на рівні 5% — і щось пройде випадково. Кожна поправка дає іншу обіцянку щодо ваших помилок і платить за неї знахідками.
Порівняння
| Назва Що робить | Контролює | Процедура | Знахідки |
|---|---|---|---|
| Без поправки Кожен тест на рівні α окремо. Слушно для одного тесту; на сотні хоч одне хибне твердження майже неминуче. Повна сторінка → | лише кожен тест | p < α | найбільше, і багато хибних |
| Бонферроні Поділіть α на кількість тестів. Шанс хоч одного хибного твердження лишається нижчим за α. Повна сторінка → | FWER | p < α/m | найменше |
| Голм Бонферроні, застосований крок за кроком униз відсортованими p-значеннями. Та сама обіцянка — і ніколи не менше знахідок. Повна сторінка → | FWER | покроковий спадний | щонайменше як у Бонферроні, завжди |
| Бенджаміні–Гохберг Обмежує частку хибних знахідок замість шансу хоч однієї. Слабша обіцянка, значно більше знахідок. Повна сторінка → | FDR | покроковий висхідний | більше, ніж у будь-якого правила FWER |
| Бенджаміні–Єкутієлі Бенджаміні–Гохберг, безпечний для тестів, що залежать один від одного будь-як, ціною знахідок. Повна сторінка → | FDR, за будь-якої залежності | висхідний, суворіший | менше, ніж у Бенджаміні–Гохберга |
На шпаргалці: Statistical testing →
Навіщо взагалі поправляти
Один тест на рівні α = 0.05 ризикує одним хибнопозитивним результатом із двадцяти. Двадцять тестів — і «варто очікувати щонайменше одного хибнопозитивного результату здебільшого» [1, §9.11]. Кожна поправка нижче витрачає частину ваших знахідок, щоб викупити цей ризик; різниться те, що вони купують.
Дві обіцянки, а не дві сили однієї
FWER, ймовірність сімейної помилки, — шанс зробити хоч одне хибне твердження. Її контролюють Бонферроні, «однокрокова поправка», і Голм, «покроковий спадний метод із поправками Бонферроні» [3, multipletests].
FDR, частка хибних відкриттів, — «очікувана частка відхилених нульових гіпотез, які насправді істинні» [2, description]: частка ваших знахідок, що є помилками. Її контролюють Бенджаміні–Гохберг і Бенджаміні–Єкутієлі, і «процедури контролю частки хибних відкриттів зазвичай мають вищу потужність, ніж процедури контролю сімейної помилки» [2, Notes].
Спершу оберіть обіцянку. Висновок, де одне хибне твердження — катастрофа, вимагає FWER; відбір, де частково хибний короткий список усе одно корисний, — FDR.
Як читати рядки
Голм замість Бонферроні — завжди. Та сама обіцянка і ніколи не менше знахідок: Голм починає з порога, який Бонферроні застосовує до кожного тесту, і послаблює його тест за тестом.
Бенджаміні–Гохберг припускає, що тести незалежні або мають «додатну регресійну залежність» [2, Notes]. Коли вони можуть залежати один від одного інакше, Бенджаміні–Єкутієлі «гарантовано контролює FDR навіть тоді, коли p-значення походять не з незалежних тестів» і через це консервативніший із двох [2, method].
Жоден рядок не виправить кількість, обрану після того, як ви подивилися. Поправка чесна рівно настільки, наскільки чесне m — кількість тестів, які ви справді провели; дослідження на одній частині даних і підтвердження на іншій взагалі не потребує m [1, §9.11].
Джерела
- Think Statsbook · звірено 2026-09-18https://greenteapress.com/thinkstats2/html/thinkstats2010.html
- SciPy — scipy.stats.false_discovery_controldocs · звірено 2026-09-18https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.false_discovery_control.html
- statsmodels — multipletestsdocs · звірено 2026-09-18https://www.statsmodels.org/stable/generated/statsmodels.stats.multitest.multipletests.html