Сплит-тестирование или А/Б-тесты есть практически во всех сервисах email-рассылок. Как подойти к этому процессу правильно, чтобы получить максимум от тестирования писем – узнайте из истории Джимми Дэйли про внедрение A/Б-тестов в Udemy.
Что такое хороший А/Б тест?
Для начала рассмотрим научный метод, заложенный в основу тестов, приносящих значимые результаты.
Вот краткое определение научного метода на ScienceBuddies.org:
«Научный метод – экспериментальный процесс, используемый для изучения наблюдений и поиска ответов на вопросы. Учёные используют научные методы для выявления причинно-следственных связей в природе. Другими словами, они делают эксперименты таким образом, чтобы изменения в одном элементе приводили к последующим предсказуемым изменениям в результате».
Давайте посмотрим, насколько это применимо к маркетингу, и, в частности, к email-маркетингу.
- Задаём вопрос. Почему по нашим письмам не кликает больше людей?
- Проводим исследование. Какой текст используется в лучших письмах отрасли?
- Выдвигаем гипотезу. По нашим письмам будут кликать больше людей, если задействовать поведенческие данные.
- Тест с экспериментом. Протестируем текст, который есть сейчас (контрольный вариант) и сравним его с новым, динамически генерируемым (тестовый вариант).
- Анализируем данные и делаем выводы. Тексты писем, сформированные на основе поведенческих данных, приводят к увеличению количества кликов.
- Применяем на практике. Внедряем поведенческие данные в email-кампании и переходим к следующему тесту.
При правильном исполнении А/Б тестирование даёт прирост в геометрической прогрессии.
Суть в том, чтобы создать серию приветственных писем, а также рассылок для работы с жизненным циклом клиентов (lifecycle emails) и писем для их удержания. А затем тщательно тестировать все их элементы. То есть, изменять не только тему письма, как это обычно делается в большинстве случаев.
Тестирование разовых писем даёт и выводы на один раз
Если бы вы рассылали эту же кампанию ещё раз, то смогли улучшить её. Так как вы этого не делаете, значит, у вас и не будет возможности применить полученные знания в последующих письмах.
При этом, тестируя автоматизированные кампании, можно постоянно улучшать результат. Поток новых пользователей даёт постоянную обратную связь, и если следить за данными, то можно регулярно обновлять текст (картинки, кнопки, триггеры и тайминг), подбирая наилучшие вариации для рассылки.
И также важно учитывать, что тестирование незначительных деталей даёт и несущественные отличия в результатах.
Как писал Ной Каган (Noah Kagan) в блоге Visual Website Optimizer, «лишь 1/8 А/Б тестов показывают существенную разницу. Если вы не Amazon или TripAdvisor, то для ваших объёмов данных вряд ли имеют значение десятые доли в результатах. Если у Письма А показатель переходов 15,2%, а у Письма Б – 14,8%, то можно ли говорить, что Письмо А успешнее? Здесь не скажешь однозначно, и, скорее всего, ваш А/Б тест был недостаточно тщательным».
Udemy: А/Б тестирование в действии
Для тестов Udemy использует большую пользовательскую базу из 7 млн студентов. Это позволяет получать осмысленные результаты, которые затем используются в email-кампаниях.
Менеджер по email-маркетингу в Udemy, Джен Ри (Jen Rhee) любезно поделилась с нами результатами двух недавних А/Б тестов. Джен – один из лидеров в этой быстрорастущей организации, и наша беседа показала, как методично она подходит к развитию системы рассылок.
Посмотрим на примеры.
Пример 1: Приветственные письма
Мы часто слышим, что приветственные письма задают тон взаимоотношений с новыми пользователями, но Джен подтверждает это данными.
Она выяснила, что прибыль, полученная за первую неделю, связана с увеличением жизненной ценности клиента (CLV или customer lifetime value). Это значит, что приветственные письма как траектория для последующих взаимоотношений. Но они также могут быть и препятствием для их создания.
Чтобы улучшить эти письма, Джен сравнила существующие приветственные письма с новыми. Контрольное письмо предлагало новым подписчикам 50%-ю скидку на курсы. Заманчивое предложение, однако раскрыто не до конца. Хотя в письме рекомендуют несколько курсов, заголовок письма слишком общий.
Джен предполагала, что если сразу же предложить подходящий курс, это увеличит краткосрочную прибыль, повысит пожизненную ценность и предоставит клиенту хороший опыт взаимодействия.
В тестовом письме использовались поведенческие данные, и пользователю рекомендовали именно тот курс, которым он интересовался ранее. Джен сделала шаблон, в котором этот курс подставлялся в начало письма вместе с купоном на скидку в 50%.
Перед тем как раскрыть вам результаты, предположу, что вы наверняка уже догадались, какое письмо сработало лучше. Джен думала так же, но всё равно провела тест. Предположения – это необоснованные догадки, которые лучше подкрепить фактами.
Как и ожидалось, второе письмо дало просто ошеломительный результат: на 150% больше прибыли за первую неделю и на 94% — за первые 30 дней.
Вывод: поведенческие данные обеспечивают контекст письма. Их содержание уникально при каждой отправке. Это и есть персонализация в лучшем виде. Рекомендация конкретного курса вместо скидочного купона минимизирует сомнения в процессе покупки, и позволяет новым пользователям поскорее начать обучение.
Пример 2: Письма активации (Lifecycle-emails)
В маркетинге вы или сопротивляетесь инерции, или набираете обороты.
Email-рассылки — один из основных способов набрать обороты, который к тому же позволяет получить радостных и вовлечённых клиентов. С этими мыслями Джен решила протестировать email-кампанию, которая запускалась после первой покупки.
«У нас было понимание того, что пользователи покупают курсы с определенной целью», — рассказывает Джен. «Если покупают курс по Photoshop – значит, хотят заниматься дизайном. Если курс о разработке приложений — значит, хотят создавать приложения».
Чтобы улучшить активационные письма для Udemy, Джен провела ещё один тест, похожий на тот, что мы разобрали выше. В существующей кампании предлагался промокод с обобщённым призывом «Discover Courses» («Откройте для себя курсы»).
В противовес был взят заголовок с акцентом на выгоду, которую получит пользователь при покупке курса по разработке приложений: «Создайте приложение, которое захочет каждый». И, разумеется, промокод.
Как вы догадались, второе письмо также стало хитом. Оно принесло на 60% больше краткосрочной, и на 132% больше долгосрочной прибыли.
Вывод: как сказала Джен, «творческий подход к целям студентов дал лучший результат, чем попытка подкупить их скидкой». Эти тесты стали для Udemy классическим кейсом, который в компании использовали для увеличения пожизненной ценности клиента.
Секретный ингредиент
Ключ к успеху в этих кейсах вовсе не в креативных идеях и не в проведении тестов как таковом.
Важно то, что Джен систематически собирала данные и применяла их ради улучшения писем. Последующие кампании приносили ещё больше данных, и давали возможность протестировать новые идеи.
А/Б тестирование – это постоянный цикл, а не разовая задача. Не ждите значительных результатов, протестировав и изменив заголовок в одной рассылке.
Реальные результаты кроются в культуре тестирования и приверженности к систематической работе с данными.
Источник: getvero.com
