Магазин отправил письмо постоянным покупателям. Через несколько дней в отчёте появились заказы и выручка. Маркетолог показывает результат руководителю: «Вот сколько принесла рассылка».

Сложность в том, что часть этих людей могла купить и без письма. Они уже знали магазин, собирались пополнить привычный запас или пришли по другой причине. Контакт с рассылкой и покупка могут идти друг за другом, даже когда первое событие почти не повлияло на второе.

Чтобы принимать решения о CRM, полезно различать два вопроса: каким сообщениям система присвоила покупки и сколько покупок добавилось благодаря нашему действию.

Что на самом деле показывает атрибуция

Атрибуция — это правило, по которому система относит заказ или выручку к источнику. Например, засчитывает рассылке покупку, если клиент перешёл по ссылке и оформил заказ в течение выбранного срока. В разных системах правила и сроки могут отличаться.

Такой отчёт помогает изучать путь к покупке, находить работающие ссылки и сравнивать кампании по одинаковым правилам. Но само правило не доказывает причинную связь. Клиент мог открыть письмо по пути к уже запланированной покупке.

Инкрементальный эффект — это дополнительный результат, который возник благодаря действию компании. Чтобы оценить его, нужно понять, что произошло бы без этого действия. У одного человека нельзя одновременно наблюдать обе версии событий. Поэтому сравнивают группы клиентов.

Как работает контрольная группа

Для проверки одной рассылки заранее выбирают подходящую аудиторию и случайно распределяют её на две группы. Одной планируют отправить письмо. Другая становится контрольной: именно это письмо ей не отправляют. Остальные условия по возможности сохраняют одинаковыми.

Случайное распределение нужно, чтобы не отдать в первую группу самых активных покупателей, а во вторую — тех, кто давно ушёл. При достаточном размере оно помогает получить группы, сопоставимые по причинам, влияющим на покупку. Корректность распределения всё равно проверяют.

Условный пример: в каждой группе по 10 000 клиентов. За одинаковые 14 дней в группе рассылки купили 600 человек, в контрольной — 500. Покупателем считаем клиента хотя бы с одним заказом, который подходит под заранее выбранные правила учёта.

Показатель Группа рассылки Контрольная группа
Клиентов при распределении 10 000 10 000
Клиентов с покупкой за 14 дней 600 500
Доля купивших 6% 5%

Разница составляет один процентный пункт: 6% минус 5%. Для группы из 10 000 человек это оценка примерно 100 дополнительных покупателей. Она не равна всем 600 покупателям, которые появились в группе рассылки.

Относительный прирост здесь равен 20%: разницу в один процентный пункт делим на 5% в контроле. Эти два способа записи описывают одно сравнение. Их важно не путать: «на один процентный пункт» и «на один процент» означают разные изменения.

Мы также не знаем, какие конкретно сто человек составили дополнительный результат. Эксперимент оценивает разницу между группами, а не помечает отдельные заказы как точно созданные письмом.

Какие ошибки портят сравнение

Сравнивать только открывших с неоткрывшими. Открытие происходит уже после отправки. Люди, которые заметили письмо, могут изначально сильнее интересоваться компанией. Такое сравнение не заменяет случайное распределение до кампании.

Убирать из расчёта тех, кому письмо не доставили. Если проверяется решение запустить рассылку для выбранной аудитории, в основном сравнении сохраняют клиентов в исходных группах. Иначе после запуска состав групп меняется по причинам, связанным с отправкой. Проблемы доставки разбирают дополнительно.

Считать только покупки по ссылке. Письмо может повлиять на клиента, который позже сам откроет приложение или придёт в магазин. Для оценки влияния на покупки учитывают доступные заказы в обеих группах одинаково, независимо от маршрута. Если офлайн-заказы связать с клиентом невозможно, это ограничение отмечают в выводе.

Подменять контроль прошлым месяцем. Между месяцами меняются сезон, цены и состав покупателей. Одновременная контрольная группа помогает отделить такие общие изменения от воздействия конкретной кампании.

Почему одного положительного числа недостаточно

Разница между группами содержит случайные колебания. При повторении теста результат не будет в точности тем же. Поэтому вместе с разницей оценивают неопределённость — например, доверительный интервал, который помогает понять, насколько точна полученная оценка при условиях расчёта.

В учебной таблице мы показали сам принцип. В рабочем тесте заранее определяют размер групп, срок наблюдения и основную метрику. Тест не стоит останавливать в тот день, когда число впервые стало красивым. Для новичка разумный шаг — согласовать расчёт с аналитиком до отправки.

Срок тоже имеет значение. Рассылка может ускорить покупку, которую человек и так совершил бы позднее. Если задача — получить дополнительный спрос за месяц, результат только за первые два дня ещё не отвечает на этот вопрос. Период выбирают с учётом обычного цикла покупки.

Как сообщать результат без завышения

Для условного примера корректная формулировка звучит так: «За 14 дней доля покупателей в группе рассылки составила 6%, в контроле — 5%. Наблюдаемая разница соответствует примерно 100 дополнительным покупателям на 10 000 участников. Точность оценки проверяем отдельно».

Дальше нужно проверить экономику. Даже дополнительная покупка может оказаться слишком дорогой, если ради неё выдали скидку многим людям, которые купили бы и так. Такой расчёт есть в статье об уместности сообщений и предложений.

Атрибуционный отчёт при этом остаётся полезным. Просто в отчёте руководителю у покупок, присвоенных рассылке, и у оценки её дополнительного эффекта должны быть разные названия. Тогда команда сможет обсуждать, что действительно стоит продолжать и расширять.