складність 3/5
A/B testing
Випадковий розподіл суб’єктів між двома варіантами й порівняння результату, щоб виміряну різницю можна було віднести на рахунок зміни, а не того, кому саме що показали.
Інтуїція
Ви змінили кнопку, і конверсія зросла на 3%. Питання не в тому, чи зрушило число, — воно зрушує завжди. Питання в тому, чи зрушило воно з тієї причини, про яку ви думаєте.
Ці 3% могли дати дві речі. Зміна може працювати. Або відвідувачі цього тижня просто виявилися трохи охочішими за минулотижневих — так, як відрізняються будь-які дві вибірки. Ніщо в самих 3% цього не розрізняє, і пильніше вдивляння в число справи не вирішить [2, §9.1].
Саме рандомізація робить різницю інтерпретовною. Розподіляйте кожного відвідувача між A і B підкиданням монети — і дві групи в середньому однакові в усьому, окрім зміни, зокрема й у тому, що ви ніколи не додумалися виміряти [3, §7.8]. Тоді на друге питання стає можливо відповісти: наскільки велику різницю показали б два однакові варіанти суто випадково? Якщо відповідь — «регулярно більшу за 3%», ви поки що не дізналися нічого [2, §9.1].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- NIST/SEMATECH e-Handbook of Statistical Methods — Product and Process Comparisonsstandard · звірено 2026-09-05https://www.itl.nist.gov/div898/handbook/prc/prc.htm
- Think Stats — Ch. 9, Hypothesis Testing, 2nd ed.book · звірено 2026-09-05https://greenteapress.com/thinkstats2/html/thinkstats2010.html
- Think Stats — Ch. 7, Relationships between variablesbook · звірено 2026-10-04https://greenteapress.com/thinkstats2/html/thinkstats2008.html