Как проводить эксперименты и A/B-тесты в Яндекс.Директе

А/B-тест или эксперимент в Яндекс.Директ — популярный способ маркетингового исследования. Он позволяет выяснить, какая стратегия продвижения работает лучше. С помощью A/B-теста можно оценить эффективность элементов рекламы, например: эффективность картинки, УТП, наличия кнопки призыва к действию, заголовка и т. д. 

Объявления в A/B-тестах обычно одинаковые, за исключением одной детали, например, разных заголовков. 

Пример объявлений для A/B теста в Яндекс.Директ

В этой статье разберем сценарии A/B тестов: когда проводить, зачем, откуда брать гипотезы для тестирования, а также как запускать эксперименты в Яндекс.Директ.

Сценарии применения A/B тестов

Сценариев применения A/B тестов множество, но самые частые это:

• тестирование функционала рекламной площадки: на каких форматах объявление отрабатывает лучше, на какой стратегии и т. д.

• анализ выгодного формата рекламы для вашего бизнеса: где лучше запускаться — Поиск, РСЯ и т. п. 

• анализ объема денежных затрат: куда перенаправить, на какое направление, на какие кампании.

Когда проводить A/B-тесты в Яндекс.Директ

A/B-тесты лучше проводить, когда текущие кампании и метрики настроены, отрабатывают и дают конверсии, но у вас есть желание что-то поменять и улучшить. 

A/B-тест — удовольствие недешевое и запускать потребуется от 2-х похожих кампаний на срок от 3-х недель, поэтому чаще тесты проводят на действующих кампаниях, которые уже принесли прибыль и не лишатся ее при запуске эксперимента.

Для чего использовать A/B-тесты в Яндекс.Директ

A/B-тесты используют для проверки гипотез и предложений. Тесты могут касаться проверки эффективности отдельных элементов текста, изображений на креативах и т.д., но также пригодны в случаях, когда вы решили поменять дизайн посадочной страницы внутри рекламной кампании, которая пару лет хорошо отрабатывает. Естественно, если кампания работает хорошо и долго, трогать ее боязно, особенно в Яндекс.Директе, где легко сломать и тяжело построить. В случае таких изменений также используют A/B-тест. Если вам кажется, что в другом дизайне посадочная отработает лучше — не факт, что тоже самое решит ваша аудитория. 

На основе чего создавать идеи для A/B-тестов

A/B-тесты используют для улучшения, потому все идеи для них отталкиваются от желания улучшить. Чтобы понять, в каких рекламных кампаниях вы не дотягиваете, можно обратиться к:

• аналитике. Посмотрите отчеты метрики по кампаниям, сравните их с вашими внутренними отчетами по продажам, так сможете выяснить, на какие направления уходит бюджет, но не приходит прибыль. 

• отделу продаж. Консультация с отделом продаж даст понять с каких кампаний приходит некачественный трафик, оценить его не только по цифрам, но и по разговору, который обычно у отдела продаж сохраняется. Также сотрудники отдела могут подсказать, чего не хватает в текущих кампаниях, каких уточнений, которые помогут отфильтровать нецелевых клиентов. 

• конкурентам. Все мы анализируем конкурентов на рекламном аукционе в том числе. Когда конкурент вводит что-то новое в свои объявления, можно обдумать это и поразмышлять, стоит ли вносить тематические корректировки у себя?

С чего начать планирование A/B-теста

Планирование A/B-теста начинается с обсуждения гипотез и теорий. При этом стоит опираться на конкретные цифры в отчетах, а не на личное ощущения того, что «эта кампания приносит меньше конверсий, чем та». 

При формировании гипотез можно фокусироваться не только на цели увеличения прибыли, но и над другими целями вроде: увеличение глубины просмотра страницы, посещаемости, уменьшение показателей отказа, повышение осведомленности о бренде и т. д.

Создайте список гипотез, которые хотите проверить и выделите из них наиболее важные, потому что количество A/B-тестов зависит от вашего бюджета, которого, зачастую, не хватает на все выдвинутые теории. 

Также при планировании тестов не забывайте о денежных рисках. Тесты могут завершиться неудовлетворительно или не дать конкретного ответа на вопрос, потому не стоит рассчитывать, что вы ничего во время эксперимента не потеряете.

Настройка эксперимента в Яндекс.Директ и запуск

Для запуска эксперимента представим, что решили протестировать две посадочные страницы с одинаковым текстом, но одна в старом дизайне, а другая — в новом. 

Чтобы начать тестирование, нужно перейти в Яндекс.Аудитории → Эксперименты и создать эксперимент. 

Создание эксперимента в Яндекс.Директ

В настройках создания эксперимента вводим название теста, чтобы оно было емким и отражало суть эксперимента. Указываем счетчик Яндекс.Метрики, по которому будет собираться статистика, а также определяем процентное соотношение тестируемого объема аудитории. Чаще это 50/50, но если под вашу гипотезу нужен другой объем и количество сегментов, можете задать иные значения. 

Настройка параметров эксперимента в Яндекс.Директ

После того, как настроили параметры эксперимента, он отобразится в общем списке, а по кнопке «Результаты», когда статистика будет собрана, можно перейти в метрику и посмотреть итоги A/B теста.

Отображение списка экспериментов в Яндекс.Директ

Отчет по результатам A/B теста в Яндекс.Директ

После создания аудитории для эксперимента нужно запустить кампании в рамках A/B теста. Для этого зайдите в Яндекс.Директ и создайте две (или более) рекламные кампании.

Стоит учесть, что:

• если вы проводите эксперимент на уже существующую кампанию, то копируете ее, а после меняйте детали в скопированных кампаниях;

• если вы проводите эксперимент с нуля, то создайте две (или более) идентичные кампании с одним отличием, влияние которого хотите проверить в ходе эксперимента. 

На своем примере мы покажем запуск A/B теста 50/50 в условиях уже работающей кампании. Напоминаем: наша цель — поменять дизайн посадочной страницы, которая дает хорошие конверсии на текущей РК. После того, как скопируем текущую РК, мы установим дату запуска новых кампаний на следующий день после остановки основной — почему? — потому что A/B тест на текущую кампанию нельзя запускать во время ее работы. Компании начнут конкурировать, статистика будет ошибочной.

Как скопировать группу объявлений в Яндекс.Директе

После того, как скопировали кампанию, в параметрах нужно открыть Дополнительные настройки → Эксперименты и выбрать тот эксперимент, что ранее настроили.

Дополнительные настройки в параметрах кампании Яндекс.Директ

Настройка эксперимента для кампании Яндекс.Директ

После того, как эксперимент подключен, а нужные правки, влияние которых вы хотите проверить, внесены, основную кампанию, с которой копировали тестовые — останавливаем и запускаем тестовые. Если основной кампании не было, то просто запускаем тестовые. 

После запуска эксперимента следим за кампаниями и собираем статистику. В среднем Яндекс раскачивает кампании к третьей неделе, потому закладывайте бюджет минимум на три недели теста.

Если у вас возникают затруднения с настройкой рекламы, советуем прочесть нашу статью Как самостоятельно настроить рекламу в «Яндекс.Директе» а также Как собрать минус-слова для Яндекс.Директ.

Что нужно учитывать при проведении эксперимента в Яндекс.Директ

1. За один раз тестируем одну гипотезу

Лучше розовые креативы или синие? Короткий заголовок или длинный? Больше текста или меньше? Все это тестируется отдельно друг от друга, когда остальное остается идентичным. Если пытаться проверить несколько теорий на одном эксперименте, то оценить влияние каждой на общий результат будет сложно.  

2. Копим конверсии

Для адекватной оценки результатов эксперимента нужно накопить не менее 200 конверсий за месяц. Это не обязательное правило, но желательное, которое позволит точнее оценить результативность теста. 

3. После теста НЕ запускаем оригинальную кампанию, если она была. 

Если вы во время своего эксперимента создавали кампании при помощи копирования основной РК, то после окончания A/B теста основную кампанию НЕ включайте. Причина: после простоя кампания уйдет на модерацию и может перестать выдавать те результаты, которые давала перед началом тестирования. 

По завершению A/B теста оставляйте работать ту кампанию, которая дала наилучшие результаты, а остальных участников эксперимента отключайте.

Примечание: не забудьте перевести 100% аудитории на оставшуюся кампанию, потому что во время теста у вас шел другой процент трафика.

Где смотреть результаты экспериментов в Яндекс.Директ? 

Результаты эксперимента можно смотреть как в Аудитории → Эксперименты, так и в отчетах Яндекс.Метрики.

Где смотреть результаты экспериментов в Яндекс.Метрике

Чтобы вам было проще принять решение на основе результатов эксперимента, можно воспользоваться калькулятором Яндекса для проверки достоверности A/B-тестирования. Для подсчета в него потребуется скопировать результаты эксперимента. 

Калькулятор достоверности A/B тестирования

Вывод

Запускать A/B-тесты нужно для улучшения работы рекламных кампаний. Просто так запускать эксперименты нет смысла, потому что можно «слить» бюджет. 

Если вы сомневаетесь в своих силах и хотите ответственно подойти к запуску A/B-тестов в Яндекс.Директ, то советуем обратиться к нашим партнерам. Профессионалы помогут реализовать задумку, увеличить конверсии или просто проконсультируют по насущным вопросам работы с рекламной системой.