Как правильно проводить А/В-тесты в email-рассылках

Как провести А/В-тест? Отправьте два варианта письма двум группам подписчиков. В зависимости от цели теста (увеличение открытий, переходов, продаж) оцените, какой вариант победил. Письмо с лучшими показателями отправьте остальным.

Звучит просто, но на деле тест легко испортить и прийти к неправильным выводам: в исследовании Litmus за 2023 год 39% email-маркетологов заявили, что сталкиваются с проблемами при тестировании писем. Рассказываем, как провести A/В-тестирование, которое действительно улучшит результаты рассылки.

Что такое А/В-тестирование

A/B-тестирование, также известное как сплит-тестирование — это способ оценить два варианта и выбрать из них лучший. В рассылках это выглядит так: например, у вас есть две версии заголовка или кнопки в письме, и вы хотите узнать, какая из них привлекает больше внимания и приводит к большему количеству кликов. Для этого часть аудитории получает письмо с одним вариантом CTA-элемента (A), а другая часть — со вторым (B). Затем сравниваются результаты: открываемость, клики и другие метрики и делается вывод о том, какая из кнопок больше заходит пользователям.

А/В-тесты помогают улучшать рассылки на основе реальных данных, а не догадок. Регулярно проводя такие тесты, можно понять, что именно предпочитает видеть в письмах тот или иной сегмент аудитории, и существенно повысить эффективность рассылок.

Что и как часто нужно тестировать в email-рассылках

Протестировать целиком письмо у вас не получится. Если вы отправите одной части аудитории одну версию, а другой — другую, это будут просто два разных письма: сравнить их не получится. Даже если одна из этих рассылок покажет лучшую открываемость или кликабельность, вы не сможете узнать наверняка, что на это повлияло. Поэтому в А/В-тестировании рассылок обычно меняют отдельные элементы. Вот некоторые из них.

Тема письма. Можно проверять разные формулировки, длину заголовка или наличие эмодзи. Также можно поэкспериментировать и с именем отправителя — мы подробно рассказали о том, как его выбирать, в отдельной статье. Главный показатель, на который могут повлиять заголовок письма и поле «от кого» — это открываемость.

Прехедер. Попробуйте использовать в качестве прехедера разные тексты — так можно понять, какой из них лучше дополняет тему письма и привлекает внимание.

Контент письма. Можно менять структуру, длину текста, количество элементов, чтобы найти оптимальный вариант, который лучше удерживает внимание и вовлекает читателей.

Призыв к действию (CTA). Можно тестировать разные формулировки, цвет, размер и расположение кнопки или ссылки с призывом к действию, чтобы выяснить, какой вариант лучше побуждает пользователей кликнуть.

Call-to-action: гид по конверсионным призывам к действию

Tone of voice. Можно проверить, какой подход к коммуникации больше нравится получателям рассылки: официальный или дружелюбный? Обращение на «ты» или на «вы»? Влияет ли на эффективность использование персонализации?

Изображения и визуальные элементы. Использование разных изображений, GIF, кнопок или иконок. Это помогает понять, как визуальный контент влияет на кликабельность и восприятие письма.

Время и день отправки. Можно попробовать тестировать разные дни недели и время суток для отправки, чтобы понять, когда ваша аудитория чаще открывает письма и взаимодействует с ними.

Креатив. Если вам пришла в голову смелая идея — не важно, касается она дизайна, контента, подразумевает ли безумный баннер или загадочный заголовок письма — для начала её стоит проверить. И А/В-тестирование — идеальный способ оценить вероятность того, что ваш креатив выстрелит.

Все эти элементы нужно тестировать поэтапно — по одному за раз. Поэтому для A/B-тестирования составляют план — с датами и указанием, когда они проводятся. Более того, зачастую одного теста может быть недостаточно: на результаты может повлиять эффект новизны или другой фактор. Нужно убедиться, что результат тестирования повторяется — поэтому его проводят регулярно. 

Результат А/В тестирования не будет моментальным: после отправки придётся подождать, чтобы как можно больше пользователей открыли письмо. Поэтому стоит закладывать как минимум неделю (при желании — и две) на сбор данных — затем стоит выждать и повторить тест. 

В итоге частота проведения тестирований зависит от того, сколько вы выделяете времени на тест и анализ его результата, количества тестируемых элементов, а также от того, как часто вы вообще делаете рассылки. Если вы отправляете письма по базе подписчиков раз в месяц, проводить тестирование чаще не получится. Иначе «внеурочное» письмо может существенно исказить результаты.

Как провести А/В-тестирование

В исследовательской среде есть такое понятие, как «дизайн исследования», которое включает схему проведения, используемые методы и метрики. Он декламируется заранее и позволяет быть уверенным, что в результатах не произошло намеренного искажения. 

А/В-тестирование — тоже исследование, только маркетинговое. И ему тоже нужен свой «дизайн», описывающий, как именно вы будете его проводить и каких результатов ожидаете. Формирование такого плана действий, от которого нельзя будет отклоняться и корректировать в процессе — это подготовительная работа, которая составляет значительную часть процесса тестирования. Разберём их по порядку.

Определить цель и предмет тестирования

Цель — это показатель, на который вы планируете повлиять по результатам тестирования. Наиболее распространённых целей А/В-тестов три:

• повышение открываемости (open rate);
• повышение кликабельности (CTR или CTOR);
• увеличение итоговой конверсии.

Важное условие: цель должна быть измеримой, иначе оценить результаты тестирования будет сложно.

Основные предметы тестирования мы описали выше — от эмодзи в теме письма до интерактивных элементов и размеров баннера. Важно, чтобы между элементом тестирования и целью была прямая связь.

Например, эмодзи в теме может повлиять на повышение открываемости, но на кликабельность и конверсию его влияние несущественно. Смайлик, конечно, может косвенно повлиять на CTOR, так как в расчёте этого показателя учитывается открываемость, прямой связи нет.

Сформулировать гипотезу

Гипотеза — это версия специалиста о том. какой из вариантов принесёт лучший результат. Правильно сформулировать гипотезу помогает предварительный анализ текущей ситуации и перспектив. 

Например, предмет тестирования — кнопка. Цель — увеличить конверсию. Сейчас мы используем синюю кнопку, и конверсия составляет 4%. Email-маркетолог предполагает, что использование зелёной кнопки повысит конверсию до 6%. 

Гипотеза должна быть ёмкой, реалистичной и максимально конкретной: если у нас есть цифры, нужно использовать их:

❌ Зелёная кнопка лучше синей.

✅ Смена цвета кнопки с синей на зелёную увеличит конверсию на 2%.

❌ Обращение по имени в письме понравится пользователю.

✅ Имя пользователя в теме письма повысит открываемость с 10% до 14%.

Важно, чтобы гипотеза была реалистичной: в какой бы цвет мы не покрасили кнопку и какого бы размера мы её не сделали, конверсия вряд ли поднимется с 4% до 30%. На целевой показатель влияют много факторов, и то, как выглядит CTA-элемент — лишь один из них. 

Выбрать подходящую аудиторию

Здесь есть два основных варианта:

1. Взять процент от общей аудитории. Это обеспечит разнообразную выборку и подходит в том случае, если вы тестируете письмо, которое планируете отправлять по всей базе. 
2. Взять интересующий нас сегмент аудитории и поделить его на две части, по которым сделать рассылки двух вариантов соответственно. 

Размер выборки определяют цель и предмет тестирования. Например, если ваш целевой показатель — открываемость, а предмет тестирования — изменения в теме и прехедере, можно взять небольшой процент базы: тему увидят даже те, кто письмо не откроет.

Если для проведения теста важно, чтобы пользователь открыл письмо и увидел какой-то элемент внутри, выборку нужно делать больше. В противном случае, разослав письмо 200 подписчикам, при низком open rate вы рискуете получить результаты тестирования от 10 человек — а это слишком мало, чтобы сделать выводы. Оценить количество подписчиков, необходимое для теста, помогут онлайн-калькуляторы: EvanMiller, AB Testguide, или Optimizely.

Помимо численности важно, чтобы выборка была разнородной, а группы — максимально близкими по составу. Если в одной группе окажутся только новые подписчики, а в другой — «старожилы», результаты теста не будут достоверными.

В некоторых случаях стоит выделить также группу, которая не получит письмо. Особенно это важно для транзакционных писем, вроде сообщений о брошенной корзине: одни получают один вид письма, другие — другой, а третьи не получают ничего. В итоге в CRM можно оценить не только, какое письмо эффективнее, но и то, эффективны ли такие письма вообще или в них нужно что-то менять.

Сделать рассылку для A/B-теста

Наконец мы подготовились и можем переходить к действиям. На этом этапе у нас есть:

• две версии письма с изменёнными элементами в одной из них; 
• выборка из общей базы или сегмента аудитории, разделённая на две (или три) группы; 
• целевой показатель и другие метрики, которые мы планируем отслеживать; 
• гипотеза, которую мы подтвердим или опровергнем.

Далее можно провести А/В-тест вручную, а можно — воспользоваться встроенным инструментом, который предоставляют сервисы рассылок (некоторые — только за деньги). В Unisender этот функционал доступен на любом из платных тарифов.

Выбирая аудиторию, в Unisender можно указать один из уже сформированных сегментов — а можно создать отдельный прямо внутри раздела тестирования.

Ещё одна полезная функция — возможность автоматически выбрать победителя. В Unisender это делается при помощи флажков «Без ожидания финальной части» и «С ожиданием финальной части». При выборе последнего развернётся окно с указанием критерия для победителя, указанием времени тестирования и созданием выборки из определённой выше аудитории.

В конце настроек необходимо выбрать время отправки. А если внутренних данных сервиса недостаточно — интегрировать сплит-тест в Google Analytics или Яндекс Метрику. 

Подробнее о том, как провести сплит-тестирование в Unisender — читайте в «Базе знаний».

Подтвердить результат

Получив результат одного исследования, мы можем сделать выводы относительно выдвинутой изначально гипотезы. Но окончательно подтвердить результат помогут только несколько тестов. В противном случае он может быть эффектом новизны. 

Если вы всегда писали строгие темы письма, а потом внезапно прислали пользователю письмо с заголовком, написанным зАбОРчикОМ, он откроет его с большей вероятностью. Возможно, просто чтобы убедиться, что с вами всё в порядке. Но повторение такого эксперимента уже вряд ли приведёт к повышению открываемости.

Конечно, это утрированный пример, но в любом случае результаты первого А/В-теста стоит проверить ещё парочкой — тогда они наверняка будут верными и на них можно основывать дальнейшую стратегию.

Создать систему тестирования

Один тест, даже повторённый несколько раз — это хорошо, но недостаточно. Для максимального повышения эффективности рассылок тестировать придётся регулярно. Дело в том, что А/В-тесты максимально эффективны в краткосрочной перспективе — они помогают определить, что вызывает у вашей аудитории наибольший отклик прямо сейчас. Создайте план тестирования, который будет включать: 

• теории, которые вы хотите подтвердить или опровергнуть;
• результаты, которых вы хотите добиться рассылкой;
• особенности аудитории и её изменение;
• изменения продукта или услуги;
• изменения, предпринятые в самой email-стратегии.

Такой план тоже необходимо регулярно обновлять в зависимости от целей и задач, которые стоят перед email-маркетологом — и перед компанией.

Самые частые ошибки в А/В тестах

Создание гипотезы наобум. Не важно, придумал ли её директор или она вам приснилась — гипотеза всегда должна быть обоснованной. Если мы строим тестирование на предположении, что зелёная кнопка лучше синей, мы должны подвести под это доводы. 

«Но мы же только собираемся проверить, правда это или нет!». Да, собираемся. Но как показано выше, А/В-тестирование — не самый простой инструмент, даже если процесс его использования уже отлажен. Нельзя проверять все гипотезы подряд. Не говоря уже о том, что результаты необоснованной гипотезы могут быть ошибочными и ввести в заблуждение.

Тестирование большого количества элементов. Если мы одновременно решим покрасить кнопку в зелёный, сменить её форму, а ещё поменять надпись на ней — возможно, мы действительно добьёмся роста кликабельности. Но мы не будем знать, что именно к этому привело — а значит, результат такого теста не будет воспроизводим и его нельзя будет включить в стратегию. 

Ещё хуже, если мы одновременно сменим кнопку и поставим другой баннер — определить, что из этого сработало, совершенно точно не получится.

Непринятие во внимание внешних факторов. Иногда внешние факторы влияют на результаты исследований больше, чем нам бы хотелось — и больше, чем могло бы показаться. События вокруг, письмо, отправленное в день зарплаты, просто неправильно выбранное время повлияют на выбор «победителя» в тесте — и самое опасное, что они могут исказить результат как в худшую, так и в лучшую сторону.  

Неучтённые результаты предыдущих тестов. А/В-тестирование — это итеративный процесс. Нельзя от него отказываться, только если какой-то из ваших тестов не удался. Но и прекращать всё на успешном тесте тоже. Результаты каждого проведённого теста нужно учитывать, но проводить ещё и ещё, чтобы достичь максимального эффекта.