Размер выборки для A/B теста

Допустим вы тестируете рассылку и хотите понять какой заголовок заходит лучше. На сколько человек надо отправить рассылку с тестированием заголовка и текста сообщения, чтобы получить статистически значимый результат?

Для определения размера выборки, который обеспечит статистическую значимость результатов A/B тестирования (в данном случае тестирования заголовка и текста электронной рассылки), необходимо учесть несколько параметров:

• Базовый показатель конверсии (Baseline Conversion Rate, BCR): средний процент открытия ваших предыдущих рассылок. Это ваша отправная точка.

• Минимальное изменение в конверсии, которое вы хотите обнаружить (Minimum Detectable Effect, MDE): наименьшее изменение в проценте открытий, которое для вас имеет практическую значимость и которое вы хотите иметь возможность зафиксировать с помощью теста.

• Уровень значимости (Alpha): вероятность отвергнуть нулевую гипотезу, когда она верна. Обычно используется значение 0.05, что соответствует 5%.

• Мощность теста (Power): вероятность обнаружения эффекта, если он действительно существует. Обычно используется значение 0.8, что соответствует 80%.

Формула для расчета размера выборки

Расчет размера выборки для A/B тестирования может быть достаточно сложным, особенно если делать его вручную, поскольку он включает в себя функции нормального распределения и обратные функции. Однако базовая формула, используемая для определения размера выборки для каждой группы, выглядит следующим образом:

Где:

Пример расчета

Допустим, ваша текущая средняя конверсия (BCR) составляет 10% (0.1 в долях), и вы хотите увидеть изменение хотя бы на 2% (MDE равно 0.02). При стандартных значениях уровня значимости 5% и мощности 80%, размер выборки для каждой группы можно рассчитать с использованием вышеуказанной формулы.

Давайте проведем этот расчет.

Для получения статистически значимых результатов в вашем A/B тестировании (с учетом базового показателя конверсии в 10% и желаемого минимального детектируемого изменения в 2% при стандартном уровне значимости 5% и мощности 80%), вам потребуется примерно 3623 участников в каждой группе тестирования. Это означает, что общее количество участников для обеих групп должно быть примерно 7246 человек.

Этот расчет предполагает, что у вас есть достаточно большая аудитория для рассылки и что распределение открытий будет приближаться к нормальному распределению. Важно также учитывать другие факторы, такие как сезонность и поведение вашей аудитории, которые могут повлиять на результаты теста.

Расчет для разных показателей BCR и MDE

Ниже представлена таблица, показывающая размер выборки для одной группы, необходимый для различных базовых показателей конверсии (BCR) и минимальных детектируемых изменений (MDE):

В этой таблице строки представляют различные значения MDE (1%, 2%, 3%, 5%), а столбцы – различные значения BCR (5%, 10%, 15%, 20%). Каждое значение в таблице указывает на размер выборки одной группы, необходимый для достижения статистической значимости при данных параметрах.

Видно, что чем выше BCR и ниже MDE, тем больше нужно участников для достижения статистической значимости.

Другими словами, если у ваша конверсия уже 20% и вы хотите увидеть повышение этой конверсии на 1%, то вам надо запустить тест на 25+ тысяч респондентов. Но если вы запустите тест на 1000+ респондентов и увидите конверсию в 25% (20+5), то вы можете быть спокойны — вы подтвердили гипотезу и ваша конверсия выросла на 5 процентных пункта.

Кстати, по ссылке ниже можно задать параметры для A/B теста и получить на выходе размер выборки:

https://www.evanmiller.org/ab-testing/sample-size.html