A/B-тестирование рекламы

A/B-тестирование рекламы (сплит-тестирование) — исследование, которое позволяет сравнить эффективность двух разных вариантов рекламы.

При сплит-тестировании аудиторию делят на две группы — A и B. Первой показывают старый вариант рекламы, а второй — измененный. Затем сравнивают результаты и определяют, какое объявление сработало эффективнее. После этого всей аудитории показывают именно его. 

Невозможно объективно определить, какое из этих изображений привлечет больше покупателей. A/B-тест же показал: CR объявления слева оказался на 75% выше. Источник

Существуют также A/B/C- и A/B/C/D-тестирования. Это такие же исследования, но при их проведении сравнивают не два, а три или четыре варианта рекламы.

Тестировать можно объявления для таргетированной, контекстной, баннерной рекламы, а также креативы для соцсетей и мобильных приложений. Эта функция доступна в личном кабинете большинства популярных рекламных сетей.

Зачем нужно A/B-тестирование рекламы

A/B-тестирование позволяет принимать решения на основе данных, а не субъективных мнений. Это, в свою очередь, помогает решить несколько задач:

• Выбирать из нескольких идей лучшую. Если гипотез слишком много и каждая потенциально может принести хорошие результаты, сплит-тестирование поможет проверить каждую из них.
• Находить выигрышные стратегии. Каждое следующее исследование позволяет повысить эффективность рекламы. Удачные решения можно масштабировать и применить к последующим кампаниям.
• Эффективнее расходовать бюджет. При A/B-тестировании не меняют бюджет: ищут тот вариант, который даст более хорошую конверсию, если не увеличивать выделенную на это сумму.
• Доказывать работоспособность нововведений. Если приходится отстаивать идеи перед заказчиком, доказать их результативность помогут исследования.
• Лучше понимать ЦА. сплит-тестирование позволяет узнать, как различные сегменты аудитории реагируют на разные варианты рекламы. 

A/B-тестирование позволяет использовать data-driven подход (культуру принятия решений на основе данных) даже для небольших элементов, например в «Яндекс Директе» можно попробовать разные варианты быстрых ссылок в контекстной рекламе. Источник

Какие элементы можно протестировать

Контент. Чаще всего проверяют, увеличится ли конверсия, если заменить изображение, заголовок или основной текст. Действительно, даже небольшие корректировки в цветовом оформлении или формулировках могут сильно повлиять на отклик аудитории.

Можно также проверить, какой контент привлечет больше внимания — статичный или в видеоформате. Источник

Аудитория. Тестирование позволяет проверить, как разные сегменты реагируют на одинаковые рекламные объявления. Чаще всего один и тот же креатив можно показать людям из разных регионов, с разными интересами, разного возраста и пола.

Источники трафика. A/B-тестирование помогает выяснить, как пользователи разных устройств реагирует на рекламу. Иногда мобильные юзеры лучше реагируют на один тип контента, а десктопные — на другой. Бывает и так, что результаты разнятся среди пользователей Android и IOS.

Формат. Сплит-тест помогает узнать, насколько эффективно работают объявления с разными вариациями разных элементов. Например, с какой конкретно формой кнопки или с короткой ссылкой или длинной.

Эти два объявления отличаются только форматом кнопок, однако первое работает лучше второго. Источник

Модель оплаты. Сплит-тест иногда проводят для того, чтобы определить наиболее эффективную модель оплаты. Рекламные сети предлагают разные варианты: CPC (за каждый клик), CPV (за каждый просмотр), CPM (за 1000 просмотров) и другие. Если сложно определить, какая из этих схем окажется выгоднее, можно провести A/B-тестирование.

Аукционная стратегия. С помощью A/B-тестирования можно выбрать, какая стратегия больше подходит: ручная или автоматическая. 

Ручная позволяет самостоятельно устанавливать ставки за определенное действие пользователя или количество показов. Автоматическая стратегия предлагает доверить процесс искусственному интеллекту, который анализирует поведение пользователей и адаптирует ставки в реальном времени.

Расписание показов. Одна и та же реклама может работать по-разному в зависимости от времени суток или дней недели. Сплит-тест позволяет определить, когда объявления приносят самые высокие результаты. 

Как проводят A/B-тестирование рекламы

Определяют цель.Это может быть увеличение конверсии, повышение кликабельности, снижение стоимости за клик и так далее. Цель должна быть измеримой, чтобы результаты можно было легко интерпретировать. Поэтому, например, «повышение узнаваемости бренда» не подойдет — его невозможно измерить в рамках A/B-теста.

Система предложит выбрать основные и дополнительные метрики, на основе которых вы будете судить об успешности или неуспешности каждого варианта. Источник

Делят аудиторию. Группы должны быть равномерно распределены по таким ключевым характеристикам, как возраст, пол, география, интересы и так далее. 

Это позволит минимизировать внешние факторы, которые могут исказить результаты. Например, при сегментации по демографическим данным важно, чтобы в обеих группах было равное количество мужчин и женщин.

Любая современная система самостоятельно разделит аудиторию в соответствии с этими правилами. Остается только задать соотношения сегментов. Источник

Важно также правильно определить размер выборки. С этим поможет специальный калькулятор.

Создают объявления. Важно тестировать один конкретный элемент за раз. Например, только заголовок. Если изменить одновременно и текст, и изображение, не получится выяснить, что из этого действительно повлияло на результаты.

Даже если сравниваются три или четыре варианта, в них должен меняться только один элемент. Источник

Запускают кампанию. Тестирование не должно быть слишком коротким: чем больше данных вы соберете, тем точнее будут результаты. 

Минимальная продолжительность обычно составляет 7 дней, но она также зависит от объема трафика и целей теста. Например, если калькулятор определил, что для исследования нужно 1500 пользователей, а рекламу в день видит 100 человек, то проверка гипотезы займет 15 дней.

Важно не завершать тест преждевременно, даже если на начальном этапе кажется, что один вариант показывает значительно лучшие результаты. Это может привести к неправильным выводам из-за случайных колебаний.

Анализируют результаты. Когда тест завершен, начинается этап анализа собранных данных. Здесь особенно важной является статистическая значимость данных. Если разница между вариантами слишком мала, это может означать, что влияние изменений несущественно. 

Определить статистическую значимость можно с помощью специального калькулятора

Если разница статистически значима, победивший вариант распространяют на всю аудиторию.

Главные мысли

• Исследование, которое позволяет сравнить эффективность двух разных вариантов рекламы.
• Тестировать можно объявления для таргетированной, контекстной, баннерной рекламы, а также креативы для соцсетей и мобильных приложений. 
• A/B-тестирование позволяет принимать решения на основе данных, а не субъективных мнений. 
• Можно протестировать контент и формат объявления, модель оплаты, аукционную стратегию, расписание показов, источники трафика и разные сегменты аудитории.