Большинство «тестов» в рекламе заканчиваются выводами по случайным колебаниям. Объясняем, как формулировать гипотезы, сколько данных нужно и как понять, что победа настоящая.
«Мы протестировали два заголовка, второй лучше» — эту фразу мы слышим постоянно. Обычно за ней стоят три дня и пара десятков кликов. Такой тест не показывает ничего, кроме случайности. A/B-тестирование в контекстной рекламе — мощный инструмент роста, но только если соблюдать методику: одна гипотеза, правильная метрика, достаточная выборка и проверка значимости. Разберём, как это делать на практике в Яндекс Директе.
Тестировать можно почти любой элемент, который влияет на поведение пользователя:
В единой перфоманс-кампании Директ сам комбинирует несколько заголовков, текстов и изображений и показывает чаще те, что работают лучше. Это удобно, но это не A/B-тест: алгоритм оптимизирует показы, а не проверяет гипотезу. Для чистого эксперимента нужны отдельные инструменты или аккуратная ручная схема.
Тест начинается не с объявлений, а с гипотезы. Хорошая гипотеза содержит изменение, ожидаемый результат и причину.
Если мы укажем в заголовке фиксированную цену «от 2 900 ₽ за м²», то конверсия в заявку вырастет, потому что в записях Вебвизора видно, что люди ищут цену и уходят, не найдя её на первом экране.
Плохая гипотеза: «попробуем другой заголовок, вдруг будет лучше». После такого теста непонятно, что именно сработало и как применить вывод к другим кампаниям.
Источники гипотез: записи Вебвизора, вопросы клиентов в звонках и мессенджерах, объявления конкурентов, отчёты по поисковым запросам, возражения, которые слышит отдел продаж.
Самая частая ошибка — оценивать объявления по CTR. Объявление с громким обещанием соберёт больше кликов, но приведёт людей, которые не купят. Метрика должна быть как можно ближе к деньгам.
| Метрика | Плюсы | Минусы |
|---|---|---|
| CTR | Быстро набирается статистика | Не связан с продажами напрямую |
| Конверсия из показа в заявку | Учитывает и привлекательность, и качество трафика | Нужно больше данных |
| Стоимость заявки | Прямо отражает экономику | Зависит от ставок, которые могут различаться |
| Стоимость квалифицированного лида или продажи | Ближе всего к деньгам | Нужна оффлайн-аналитика и много времени |
Для тестов объявлений мы обычно используем конверсию из показа в заявку: она объединяет CTR и конверсию сайта. Объявление с CTR 8% и конверсией сайта 3% даёт 0,24 заявки на 100 показов, а объявление с CTR 6% и конверсией 5% — 0,30. Второе лучше, хотя по CTR проигрывает.
Чтобы отличить реальную разницу от случайной, нужно достаточно данных. Объём зависит от базовой конверсии и того, какую разницу вы хотите обнаружить.
Упрощённое правило для практики: на каждый вариант нужно минимум 100 конверсий выбранного типа, чтобы уверенно обнаружить разницу порядка 25–30%. Для обнаружения более тонкой разницы в 10% нужны уже сотни конверсий на вариант.
Пример расчёта. Базовая конверсия сайта — 4%, вы хотите обнаружить рост до 5% (относительное улучшение 25%). При стандартных требованиях к точности для этого требуется примерно 6 700 кликов на каждый вариант. При 300 кликах в день на кампанию тест займёт около 45 дней.
Это отрезвляющая цифра. Она означает, что в небольших кампаниях тестировать мелкие изменения бессмысленно: тест не закончится до смены сезона. Тестировать нужно крупные изменения — новый оффер, другую посадочную страницу, принципиально другой подход к тексту, — которые могут дать разницу в 30–50%.
Варианты должны показываться в одинаковых условиях: тем же аудиториям, в то же время, с теми же ставками. Иначе вы сравниваете не объявления, а условия показа.
В Директе есть инструмент экспериментов, который делит аудиторию на непересекающиеся сегменты: одна часть пользователей видит вариант А, другая — вариант Б. Это самый корректный способ сравнить, например, две стратегии или две посадочные страницы. Сегменты аудитории создаются в Яндекс Аудиториях и затем используются как условие в кампаниях.
Если эксперименты не подходят, используйте копии кампаний с одинаковыми настройками, отличающиеся только тестируемым элементом. Минусы: кампании конкурируют в аукционе между собой и могут получать неравный трафик. Схема годится для крупных изменений, но для тонких выводов ненадёжна.
Для сравнения страниц удобно разделять трафик на стороне сайта или через эксперименты в Директе с разными ссылками в разных сегментах аудитории. Главное — одинаковое объявление и одинаковый таргетинг для обоих вариантов.
Когда данные набраны, нужно понять, не случайна ли разница. Для этого используют калькуляторы статистической значимости или простую формулу сравнения двух долей.
Пример. Вариант А: 5 000 кликов, 180 заявок, конверсия 3,6%. Вариант Б: 5 000 кликов, 230 заявок, конверсия 4,6%. Разница 28% в пользу Б. Расчёт показывает, что вероятность получить такую разницу случайно — около 1%. Результат значим, вариант Б можно внедрять.
Другой пример. Вариант А: 400 кликов, 14 заявок (3,5%). Вариант Б: 400 кликов, 19 заявок (4,75%). Разница выглядит большой — 36%, но вероятность случайности здесь больше 30%. Это не победа, а шум. Нужно продолжать тест или признать, что разница не обнаружена.
Общепринятый порог — уровень значимости 5%: если вероятность случайного результата меньше 5%, разница считается реальной.
Системное тестирование — один из главных источников роста эффективности в долгосрочной работе. Мы ведём реестр гипотез и журнал тестов для каждого проекта в рамках ведения рекламы. Если тест показывает, что узкое место — посадочная страница, мы готовим альтернативный вариант в рамках услуги по созданию квизов и лендингов.
Проведём аудит или настроим Яндекс Директ под ключ — с целями и аналитикой.
Сквозная аналитика связывает расходы на рекламу с реальными продажами. Рассказываем, из чего она состоит, как внедрить её без лишних затрат и что смотреть в отчётах.
Разбираем ключевые метрики эффективности рекламы: что они показывают, как считаются, как связаны между собой и какие выводы из них нельзя делать.
Разбираем, какие цели нужны рекламе в Директе, как их создать в Метрике, проверить и не сломать оптимизацию автостратегий лишними конверсиями.
Оставьте контакты — в течение рабочего дня вернёмся с вопросами по проекту, предварительным прогнозом бюджета и планом запуска.
Ответим на [email protected] или в удобный вам мессенджер
