Как отличить эффект CRM от переноса продаж

После запуска новой цепочки выручка email в отчёте выросла на 40%. Команда празднует, но общие продажи почти не изменились. Возможно, коммуникация убедила больше людей купить. А возможно, те же люди просто перешли из письма перед заказом, который и так собирались сделать.

Перенос продаж между каналами — изменение того, через какой путь клиент совершает покупку или как отчёт присваивает её источнику. Инкрементальный эффект — изменение результата бизнеса из-за воздействия по сравнению с ситуацией без него. Эти величины могут сильно различаться.

Почему отчёты могут одновременно быть правильными

Система рассылок видит взаимодействие с письмом и связывает с ним заказ по своим правилам. Веб-аналитика использует другую модель, а кассовая система фиксирует сам факт продажи. Расхождение между ними не всегда означает техническую ошибку.

Окно атрибуции, идентификация клиента и порядок источников влияют на распределение заказов. Если человек собирался купить в магазине, получил письмо и оформил заказ на сайте, канал изменился. Общая ценность такого перехода зависит от прибыли, расходов на обслуживание и дальнейшего поведения, а не только от новой подписи в отчёте.

Сверка Mindbox и Метрики помогает объяснить технические различия. Но даже полное совпадение атрибутированных продаж не доказывает причинный вклад коммуникации. Системы могут одинаково присвоить заказ, который состоялся бы без письма.

Что известно о границах наблюдательных оценок

Гордон и соавторы сравнили наблюдательные методы с результатами 15 крупных рекламных экспериментов Facebook. Даже при большом наборе признаков наблюдательные оценки нередко не воспроизводили экспериментальный результат. Исследование относится к конкретной рекламной среде, поэтому его нельзя превращать в утверждение о бесполезности любой аналитики CRM.

Практическое применение CRM Lab — использовать атрибуцию для описания пути и диагностики, а дополнительный коммерческий результат проверять отдельным дизайном. Чем сильнее бизнес-решение зависит от причинного вывода, тем важнее качество сравнения.

Смотрите на результат клиента во всех каналах

Для проверки маркетинговой кампании случайно выделите контроль среди подходящих клиентов до контакта. Измеряйте все их заказы в одинаковом окне, насколько позволяет связность данных. Не ограничивайтесь заказами с UTM-меткой тестового письма. Это параметр ссылки для обозначения источника перехода; у контроля метки тестовой кампании по определению не будет.

Заранее определите единый идентификатор заказа, чтобы одна покупка не учитывалась в нескольких системах. Согласуйте отмены, возвраты и момент признания результата в управленческом отчёте. Если часть офлайн-покупок не связывается с клиентом, прямо укажите эту потерю наблюдаемости.

Условный пример. В тесте и контроле одинаковое число клиентов. За выбранный период получены следующие результаты. Категории взаимоисключающие и заданы одной системой классификации заказов.

Email в этой таблице получает на 200 заказов больше, а общий результат — только на 20. В контроле могут быть заказы от других действующих email-сценариев: тестируется добавление одной новой цепочки. Таблица иллюстрирует различие метрик и не доказывает, какие конкретно клиенты сменили канал.

Перейдите от заказов к прибыли

Если дополнительные 20 заказов дают по 700 рублей маржинального дохода до расходов на новую кампанию, наблюдаемый прирост составляет 14 000 рублей. При расходах на кампанию 18 000 рублей разница равна минус 4 000 рублей. Это условная точечная оценка, а не доказанный убыток: нужны оценка неопределённости и проверка предположений.

В реальном расчёте меняется и экономика исходных заказов. Перевод в доставку может увеличить переменные расходы; переход из платного рекламного канала способен их уменьшить, если соответствующие расходы действительно сокращаются. Поэтому средняя прибыль одного дополнительного заказа — лишь упрощение для объяснения.

Прибыль портфеля CRM считают по всем затронутым заказам и расходам, избегая двойного присвоения эффекта нескольким механикам. Скидки, которыми воспользовались и без того готовые купить клиенты, также входят в результат воздействия.

Проверьте перенос во времени

Кампания может ускорить покупку, а затем снизить продажи следующего периода. Если категория позволяет запасти товар, короткое окно особенно легко создаёт иллюзию роста. Выбирайте дополнительный более длинный период по циклу покупки и фиксируйте его до просмотра результата.

Для постоянной программы полезна постоянная контрольная группа. Она помогает видеть накопленный результат, если соблюдается назначение групп и нет систематического попадания контроля под то же воздействие.

Руководству показывайте рядом атрибутированный результат, общий результат клиентов и дополнительную прибыль с ограничениями измерения. Тогда высокий вклад канала в отчёте перестаёт автоматически означать право на увеличение бюджета, а полезный перенос в более экономичный канал не теряется только потому, что число заказов почти не выросло.

Источники

Gordon B. R., Zettelmeyer F., Bhargava N., Chapsky D. A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook. Marketing Science. 2019. Vol. 38, No. 2. P. 193–225. DOI: 10.1287/mksc.2018.1135.