Що каже p — і скільки тестів?
П’ять способів судити про багато тестів пліч-о-пліч, пари, які плутають, і один запуск, де без поправки шум стає знахідкою в 99% випадків.
друкується на 2 сторінках A4з 6 сторінок і 1 каталогучитати безкоштовно · PDF — із безкоштовним акаунтомОновлено 24 жовт. 2026 р.
PDF і кнопка «Друкувати» просять увійти; безкоштовного акаунта досить. Читати й перевіряти себе може кожен.
Пліч-о-пліч
Перші стовпці — з каталогу Multiple-testing corrections; решта — з кожної сторінки.
Формулу наведено, лише коли вона коротша за слова; решту сказано словами, а формула є на кожній сторінці.
Легко сплутати
Питання «чим відрізняється…» — кожне у два рядки.
Hypothesis testing проти Confidence interval
p-значення каже, чи можна відрізнити ефект від випадковості; інтервал — наскільки він правдоподібно великий.
Подавайте інтервал поруч із p-значенням; лише інтервал каже, чи ефект має значення.
FWER проти FDR
FWER — шанс хоч одного хибного твердження; FDR — частка ваших тверджень, що хибні.
Для висновку контролюйте FWER Голмом; для відсіювання — FDR Бенджаміні–Гохбергом.
Bootstrap проти Confidence interval
Інтервалу за формулою потрібен виведений розподіл статистики; бутстреп зчитує його з перевибірок.
Формула — для середнього на пристойній вибірці; бутстреп — для статистики без формули, але не для хвостів.
Не значуще проти Немає ефекту
«Не значуще» означає, що тест не відрізнив різницю від випадковості; воно не каже, що різниці немає.
Читайте нульовий результат крізь його інтервал, а потужність рахуйте до експерименту, не після.
Один справжній запуск
Сто z-тестів, десять зі справжнім ефектом, оцінені кожним правилом за 4000 повторень.
| Правило | FWER | FDR | Сила тесту | Знайдено з 10 |
|---|---|---|---|---|
| no correction | 0.99 | 0.32 | 0.91 | 9.10 |
| Bonferroni | 0.04 | 0.01 | 0.38 | 3.80 |
| Holm | 0.04 | 0.01 | 0.39 | 3.90 |
| Benjamini-Hochberg | 0.28 | 0.05 | 0.61 | 6.10 |
«Перший рядок — причина, з якої існує ця сторінка.»
«Фольклор про Голма правдивий і тепер перевірений.»
«Але цікаве порівняння — інше.»
Запуск і ці рядки — практичний приклад зі сторінки «Multiple comparisons», як його виведено:
Що обрати?
Скільки тестів ви провели?
- Один, визначений до перегляду Hypothesis testing
- Багато, або ви спершу подивилися Multiple comparisons
Що подавати?
- Наскільки великий ефект Confidence interval
- Статистику без формули Bootstrap
Чи можна призначити зміну випадково?
- Так, незалежним одиницям A/B testing
Кожна відповідь — з розділу «Чому і коли» своєї сторінки.
Усі пастки цих сторінок: 34
Кожна — перший рядок однієї з типових помилок; чому — пояснює її сторінка.
Hypothesis testing
- Читати p як імовірність того, що нульова гіпотеза істинна.
- Читати велике p як свідчення відсутності ефекту.
- Перевіряти після дослідження тих самих даних.
- Брати тест, чиї припущення дані порушують
- Плутати статистичну значущість із практичною.
Confidence interval
- Твердження, що параметр із імовірністю 90% лежить усередині.
- Використання нормального критичного значення на малій вибірці
- Довіра до покриття на асиметричних даних.
- Трактування вузького інтервалу як точного.
- Читання перекриття двох інтервалів як «немає значущої різниці».
Multiple comparisons
- Вибір поправки без вибору того, що контролювати.
- Використання Бонферроні.
- Поправка на тести, які ви звітуєте, а не на ті, які прогнали.
- Бездумне застосування BH до корельованих тестів.
- Очікування, що BH контролює шанс хоч однієї помилки.
- Забування, що підглядання — це множинність.
- Прочитання скоригованого нерезультату як доказу відсутності ефекту.
- Дослідження й перевірка на тих самих даних, а потім поправка.
A/B testing
- Підглядання.
- Перевірка багатьох метрик і звіт про переможця.
- Сприймати 0.05 як властивість світу.
- Ігнорувати припущення про дисперсію.
- Зламана рандомізація.
Bootstrap
- Припускати заявлене покриття.
- Бутстрепити екстремуми.
- Пересемплувати корельовані рядки.
- Замало пересемплів.
- Подавати перцентильний інтервал так, ніби це BCa.
- Чекати, що він полагодить зміщення.
Central limit theorem
- Припускати, що n > 30 достатньо.
- Застосовувати її до статистики, яка не є сумою.
- Забувати про умову незалежності
- Вживати її на даних без скінченної дисперсії
- Робити висновок, що дані нормальні.