Ошибочная гипотеза. Например, в ходе тестов мы предположили, что на лендинге нужно изменить описание товара — тогда конверсия в покупку вырастет. Затем мы запустили в рекламу три варианта лендинга с разными описаниями, но покупок больше не стало.
Дело в том, что мало изменить текст или заголовок на сайте. Нужно еще и заинтересовать целевую аудиторию в покупке. Например, подарить промокод на первый заказ или предложить рассрочку. Т.е. изменения должны быть более значимыми, а не косметическими.
Выбрана не та метрика. Результату можно будет верить, если выбрать только одну метрику для улучшения. Например, стоит задача — увеличить конверсию в покупку для новых пользователей. Большинство онлайн-калькуляторов считают размер выборки, учитывая именно эту метрику.
Но если вводных по переходам недостаточно, необходимо обращаться к другим показателям. Например, на рост CTR. В этом случае поможет калькулятор Mindbox. Он рассчитает размер выборки для тестов по таким показателям:
- Open Rate. Отношение открытых писем к общему количеству доставленных.
- Conversion Rate. Отношение покупок к общему числу пользователей, которые перешли на сайт.
- Конверсия в другие целевые действия.
Размер репрезентативной выборки зависит от выбранной метрики и количества тестируемых показателей. Например, узнаем, сколько пользователей нужно включить в выборку при тесте Open Rate. Зададим ограничения: текущий Open Rate — 27%, ожидаемый прирост — 20%, количество тестируемых вариантов — 5.