A/B-тест медийной рекламы: как сравнивать креативы
Как подготовить честный тест баннеров или видео: сформулировать гипотезу, разделить аудиторию, выбрать метрику и оценить результат без поспешных выводов.
A/B-тест проверяет влияние одного изменения при сопоставимых условиях. Сформулируйте гипотезу, выберите основную метрику, задайте срок и правила завершения. Группы должны получать разные версии без неконтролируемого пересечения. Сравнивайте не только проценты, но и объём данных, неопределённость результата и возможные внешние изменения во время эксперимента, прежде чем перераспределять рекламный бюджет.
Превратите пожелание в проверяемую гипотезу
Фраза «сделаем баннер лучше» не объясняет, что проверяется. Запишите предположение в форме: для определённой аудитории конкретное сообщение изменит выбранное действие, потому что снимает определённое сомнение. Например, в условной рекламе хранения вещей сравниваются акцент на удобной доставке и акцент на понятных условиях хранения. Укажите, какое решение примете после результата. Если ответ ничего не изменит в следующей кампании, эксперимент, вероятно, не заслуживает отдельного бюджета.
Отделите одно изменение от остальных
Подготовьте контрольную и новую версии. Если проверяется заголовок, сохраните изображение, предложение, формат, аудиторию и посадочную страницу. Иногда бизнесу нужно сравнить два целых подхода. Это допустимый сравнительный тест, но его результат нельзя приписать одному элементу. Отметьте это заранее в плане. Составьте таблицу настроек обеих кампаний и попросите второго человека проверить отличия. Небольшая разница в расписании способна испортить аккуратно подготовленный тест текста.
Зафиксируйте способ разделения аудитории
Используйте доступный инструмент экспериментов и проверьте, как он формирует группы. Простое создание двух одинаковых кампаний не гарантирует случайное распределение людей и отсутствие конкуренции между ними. Сверьте объёмы, географию и доступность показов. Не запускайте одну версию в будни, а вторую в выходные: различие спроса смешается с эффектом креатива. Если технически полноценный эксперимент невозможен, называйте результат наблюдением и описывайте его ограничения, вместо того чтобы обещать доказанную причинность.
Выберите главный показатель и защитные ограничения
Главная метрика должна соответствовать задаче: изменение знания бренда, качественные визиты или подтверждённые обращения. Дополнительно следите за расходом, охватом и частотой, чтобы улучшение одного показателя не скрывало ухудшение остальных. Заранее определите необходимый объём данных и допустимый риск ошибки, при необходимости вместе с аналитиком. Не останавливайте тест каждый раз, когда появляется красивый процент. Многократные незапланированные проверки повышают вероятность принять случайное колебание за устойчивый эффект.
Ведите календарь событий во время теста
Записывайте остановки сайта, изменения цены, наличие товара, перебои обработки обращений и другие кампании. Они могут объяснить результат лучше новой картинки. Не исправляйте только одну версию без отметки: после существенного вмешательства сравнение приходится пересматривать. Условный магазин сменил условия доставки в середине периода — это отдельное событие, которое нужно учесть. Даже если рекламный кабинет считает показы корректно, качество последующего клиентского опыта может измениться и нарушить интерпретацию.
Завершите эксперимент решением, а не рейтингом
В итоговой записке нужны числа по обеим группам, разница, оценка неопределённости и проверка исходной гипотезы. Возможный вывод — данных недостаточно. Это полезный результат, если он предотвращает неверное масштабирование. Победивший вариант сначала перенесите в ограниченный рабочий объём и проверьте устойчивость эффекта. Сохраните версии файлов и идентификаторы кампаний. В следующем тесте меняйте новый фактор, чтобы знания постепенно накапливались, а команда не повторяла одно сравнение под разными названиями.
Вопросы и ответы
Можно ли сравнить баннер и видео?
Можно оценить два варианта медиаплана, но это не чистый тест визуального элемента: меняются среда контакта, формат и поведение аудитории.
Что делать, если разница небольшая?
Проверьте объём и неопределённость. При неубедительном результате сохраните более простой или экономичный вариант и уточните следующую гипотезу, не объявляя статистическую победу.
