Что показали 6 A/B-тестов для интернет-магазина

Клиент — интернет-магазин (название попросили не указывать). Продают посадочный материал: семена, луковицы, удобрения — с доставкой по всей стране. В магазине постоянно проходят акции, специальные предложения и другие выгодные активности. Для этого клиента мы делаем рассылки уже 3 года.

Чтобы повысить финансовые показатели (прямые продажи с канала) рассылки, мы регулярно проводим сплит-тесты. В этой статье я расскажу, как мы протестировали 6 гипотез:

1. Наличие имени отправителя.
2. Наличие цены рядом с товаром.
3. Красивый дизайн письма.
4. HTML против Plain Text.
5. Счетчик обратного отсчета.
6. Контент против продаж.

Прежде чем начать тест, мы ответили на 4 вопроса.

4 вопроса перед запуском теста

Когда начинать тестировать?

Первое условие — достаточно большая база для релевантного теста. Если база мала, данные могут быть сильно искажены и не могут считаться релевантными. Чтобы тест был показательным, нужна большая база.

У нашего клиента база больше 80 000 контактов. Выборку можно считать показательной (минимум 25 тыс. контактов в каждой группе).

Если тестовая группа меньше 2 000 контактов, мы не рекомендуем проводить тест. Его результаты не будут показательными.

Что стоит тестировать?

За один раз надо тестировать только одну гипотезу. Тестировать можно: заголовки, имя отправителя, время и дни отправки, контент письма (шапку, баннер, текст, кнопки, цены возле товаров и т.д.).

Как понять, что нужно тестировать?

Каждый раз, когда вы не уверены, как лучше поступить или что лучше выбрать – тестируйте. Но на самом деле тестирование должно быть регулярным. Даже проверенные гипотезы надо перепроверять. Так вы убедитесь, что они до сих пор остаются верными.

Как провести A/B-тест?

Мы разделили базу на такие части: 25% получали Вариант 1, 25%  получали Вариант 2. Оставшиеся 50% получали выигравший вариант после того, как завершалось время тестирования (мы брали от 4 до 8 часов).

С чего начать

Начните с простых, очевидных вещей. Дальше идеи придут сами.

Результаты советуем заносить в таблицу. Опишите в ней гипотезу, условия, варианты для тестирования, результаты и выводы.

Отмечайте успешные и неуспешные гипотезы. Планируйте повторы тестов. Отмечайте показательные и не показательные тесты.

Итак, наши гипотезы.

Гипотеза №1. Имя человека в наименовании отправителя улучшает показатель открытий

Имя отправителя напрямую влияет на Open Rate. Тестируйте, чтобы определить, какое имя лучше всего воспринимается вашими подписчиками: название магазина, имя человека или что-то еще. Все идеи хороши.

Письма от человека всегда открывают лучше? Этот тест говорит об обратном:

Если в имени отправителя указать, что следует ожидать от письма, показатель открытий может быть выше. В данном случае «Полезные советы от …» сработали лучше, чем имя менеджера.

Вывод

В целом, гипотеза не подтвердилась. Имя в наименовании отправителя не всегда повышает показатель открытий.

Гипотеза №2. Наличие цены возле товара в письме увеличивает конверсию и средний чек

Часто клиенты просят рядом с товарами в промо-рассылках указывать цены. Мотивируют тем, что цены положительно влияют на переходы и средний чек. У магазина цены выше среднего по нише, поэтому нам эта гипотеза показалась идеальной для тестирования.

Тестировали письмо с ценами и без цен:

Письмо без цен собрало больше кликов, при этом средний чек был выше.

Даже показательные тесты необходимо повторять. Через некоторое время мы повторили этот тест:

Во втором тесте разница в кликах была меньше, и средний чек с этого письма в 2 раза выше, чем из письма с ценами.

Нам настолько понравился результат, что мы решили проверить еще одну гипотезу, связанную с ценами возле товаров.

У клиента на сайте есть система лояльности. Магазин дает бонусы за каждую покупку. В следующем нашем тесте мы сравнили наличие цен возле товара и отображение информации о бонусах или скидках на товар. Мы предположили, что информация о бонусах или скидках вызовет больше желания купить, чем просто факт цены.

Мы получили существенную разницу в показателе CTOR — Click Through Open Rate — и в среднем чеке.

Вывод

Гипотеза подтвердилась: при уровне цен выше среднего акцент на цену в письмах делать не следует. Лучше использовать акцент на товаре или на бонусах/выгодах, которые можно получить при покупке.

Гипотеза №3. Красивый дизайн продает лучше

В этот раз мы разделили всю базу на две равные части. Мы делали выборку вручную, поэтому не считаем этот тест на 100% корректным. Он нуждается в повторной проверке.

Тест показал: привычный шаблон письма, где товары расположены в ряд по два, лучше воспринимается аудиторией этого магазина. Он собрал больше переходов и принес на 94 000 рублей больше продаж.

Дизайн писем сильно отличается, поэтому гипотезу надо тестировать еще раз. Но мы решили отложить этот тест на будущее.

Вывод

Для аудитории магазина дизайн письма не столь важен. Гипотеза не подтвердилась.

Гипотеза №4. HTML продает лучше, чем Plain Text

Еще одна сумасшедшая гипотеза: сравнить результаты рассылки в HTML и Plain Text.

Мы тестировали переходы, но также заметили большую разницу в открытиях. Объясняем это рандомом в выборке группы для тестирования. Вот почему все тесты надо повторять не раз и не два.

Вывод

Гипотеза не подтвердилась. Подписчикам оказался не важен внешний вид письма.

Гипотеза №5. Счетчик обратного отсчета повышает продажи

Счетчики — это популярно. Но их часто добавляют в письма гифками и они работают некорректно. Мы были против счетчиков, но клиент настоял. Решили проверить.

Разница и в среднем чеке, и в переходах — минимальная. Гипотеза не подтвердилась, надо тестировать еще.

Гипотеза №6. Контент против продаж

Каждый владелец интернет-магазина хочет получить как можно больше продаж.

В календаре регулярных рассылок все больше писем в стиле «купи-купи», чем полезного контента. Мы подумали, что контент был бы как раз полезен этой целевой аудитории.

Решили проверить. Половину одного письма отдали под контент. Балансировали между пользой и продажей. Второе письмо было, как всегда, акционным.

Результат показал: многие подписчики хотели получить именно полезный контент. Значительно больше открытий. Средний чек хоть и меньше, но не критически.

Важно заметить. В теории, контентной рассылке нужно время на разгон. Она продает не с первого письма. Аудитории надо привыкнуть, осознать пользу, заинтересоваться. Со временем доверие растет и отклик повышается.

Вывод

Полезный контент также способен продавать, если подойти к формированию структуры письма с умом. Подписчикам интересен формат писем с полезным контентом.

Итоги

Часто владельцы интернет-магазинов внедряют у себя то, что увидели у других. Пробовать новое хорошо, но лучше — пробовать и тестировать.

В этой статье мы описали 6 показательных гипотез. В наших тестах гипотез было больше, просто они не показали значимой разницы. Например, мы тестировали:

• фон письма;
• активный линк в названии товара и кнопке — линк только в кнопке;
• надписи на кнопке товара «Купить», «Смотреть», «Подробнее»;
• форму кнопки: круглую — квадратную;
• цвет кнопки;
• наличие краткого описания рядом с товаром;
• количество товаров в строке — два или три.

Мы лучше поняли, чего ждет от рассылок аудитория клиента и что влияет на продажи. В результате, добились больше прямых продаж с канала.

Мы не можем рассказать здесь о финансовых показателях. Скажем только, что каждый отвоеванный процент улучшения — это десятки тысяч рублей в кассе клиента.

Хотите так же?