Как проверить модель сегментации: от красивых групп к дополнительному результату

Аналитик построил сегменты. Они заметно различаются по частоте покупок и среднему чеку. Маркетолог подготовил отдельные предложения. Можно ли считать модель успешной?

Пока известно только, что удалось описать различия в данных. Следующий вопрос — помогает ли использование этих различий принимать более выгодные решения.

Проверка модели состоит из нескольких самостоятельных задач.

Проверьте, что признаки означают именно то, что вы предполагаете

Высокий средний чек может появиться из-за одной корпоративной закупки. Длительный перерыв — из-за неполной передачи офлайн-заказов. Большая доля акционных покупок — потому что клиенту почти всегда показывали только акции.

До оценки качества модели нужно проверить:

• определение покупки и правила учёта возвратов;
• объединение профилей;
• доступность истории по всем нужным каналам;
• период наблюдения;
• неизвестные и отсутствующие значения;
• обстоятельства, в которых клиент видел предложения.

Если на этапе применения признак ещё неизвестен, нельзя использовать его при исторической проверке так, будто он был доступен. Например, будущий возврат заказа не должен попадать в признаки модели, которая якобы принимает решение в день покупки.

Проверьте воспроизводимость

Для модели на правилах два одинаковых набора входных данных должны давать одинаковый результат.

Для кластеризации — группировки клиентов по сходству — полезно посмотреть, насколько меняется решение при повторном расчёте и небольшом изменении данных. Красивые названия не спасают сегмент, состав которого полностью перестраивается из-за случайного выбора начальных условий.

Долничар, Грюн и Лайш отдельно подчёркивают необходимость оценивать исходную устойчивость сегментации. Без этого трудно отличить реальные изменения клиентов от нестабильности самого метода.

Проверьте, меняется ли действие

Для каждого сегмента задайте три вопроса:

1. Что компания делает иначе?
2. Почему это должно быть полезно именно этой группе?
3. Каким результатом можно проверить предположение?

Если ответы одинаковы, сегменты, вероятно, можно объединить для коммуникации. При этом различия можно сохранить в аналитике.

Условный пример: сравнение трёх подходов

Магазин случайно распределил подходящих клиентов на три равные группы по 10 000 человек:

• группа А получает обычное обслуживание без дополнительной кампании;
• группа Б — общее предложение;
• группа В — предложения по новой сегментации.

За одинаковый период получены такие условные результаты:

В первой строке уже учтены себестоимость, возвраты и выбранные переменные расходы на обслуживание заказов. Во второй — затраты, связанные именно с кампанией и ещё не учтённые выше.

Сегментированный вариант дал самый высокий результат до расходов кампании. Но после них общее предложение оказалось лучше на 4 000 рублей.

Это условный расчёт по наблюдаемым значениям. Для решения о запуске дополнительно нужна оценка статистической неопределённости и устойчивости результата.

Сравнение Б и В отвечает на вопрос о пользе двух политик коммуникации целиком. Если нужно изолировать пользу только персонализированного содержания, частоту, бюджет и остальные условия следует по возможности выровнять.

Не меняйте состав анализируемых групп вслед за результатом

Клиент купил после сообщения и перешёл в «активные». Если исключить его из исходного сегмента при анализе, эффект кампании будет искажён.

Для эксперимента нужен снимок аудитории на момент распределения. Дальнейшие переходы становятся результатами наблюдения.

Логика случайного распределения и заранее определённого анализа подробно рассматривается в практическом руководстве Рона Кохави и соавторов по контролируемым экспериментам.

Когда пересматривать модель

Поводом служат изменения, которые влияют на решения: новый ассортимент, другой цикл покупки, изменение цен, новые каналы, рост доли клиентов с неизвестными признаками.

Полезно следить за размером сегментов, частотой переходов, покрытием данных и результатом сценариев. При этом не любое изменение требует полной перестройки. Иногда достаточно исправить источник данных или обновить одно правило.

Модель сегментации заслуживает места в CRM, когда её использование даёт понятное улучшение относительно доступной более простой альтернативы.