CRM-выручка снизилась на четверть. Первая реакция — усилить оффер или отправить ещё письмо. Но падение могло начаться раньше: уменьшилась доступная аудитория, изменился состав клиентов или выросла доля возвратов. Общая сумма не подсказывает, какое действие поможет.

Декомпозиция выручки — это разложение итогового показателя на согласованные составляющие. Она помогает локализовать изменение, но сама по себе не устанавливает причин: разница конверсии может быть связана и с коммуникацией, и с сезонностью, и с составом базы.

Исследователи Microsoft в разборе ошибок интерпретации метрик показывают, насколько вывод зависит от определения показателя и его составляющих. Для CRM начнём с арифметического тождества и затем отделим расчёт от объяснения причин.

Соберите показатели на одной аудитории

Выручку за период можно представить как произведение четырёх величин: число клиентов × доля покупателей × число заказов на покупателя × выручка на заказ.

Все заказы и покупатели должны принадлежать одной исходной аудитории и одному периоду. Для выручки заранее задают учёт скидок, возвратов, налогов и доставки. Показатель на заказ должен использовать ту же сумму, которая стоит в итоговом отчёте.

В эксперименте исходной аудиторией могут быть все назначенные участники. В операционном отчёте — заранее определённая клиентская когорта. Выбор только открывших письмо или только атрибутированных заказов меняет вопрос. Такой отчёт описывает соответствующую часть потока, а не весь результат клиентов или причинный эффект CRM.

Найдите, где возникло падение

Условный пример. Сравним две сопоставимые когорты с одинаковым сроком наблюдения и правилами учёта.

СоставляющаяПервый периодВторой период
Клиенты10 0009 000
Доля покупателей10%9%
Заказы на покупателя1,21,2
Выручка на заказ3 000 ₽2 800 ₽
Итоговая выручка3 600 000 ₽2 721 600 ₽

Итог уменьшился на 878 400 рублей, или 24,4%. Частота заказов среди покупателей не изменилась. Уменьшились аудитория, доля покупателей и выручка на заказ. Уже это защищает от необоснованного решения «нам нужен ещё один сценарий повторной покупки».

Постройте денежный мост

Для наглядности последовательно заменим старые значения новыми. Сначала уменьшаем число клиентов при прежних остальных показателях: выручка становится 3,24 млн рублей, разница −360 тысяч.

Затем меняем долю покупателей с 10% на 9% при уже новой аудитории: получается 2,916 млн, ещё −324 тысячи. Частота остаётся прежней. Замена выручки на заказ с 3 тысяч до 2 800 даёт оставшиеся −194 400 рублей. Сумма трёх изменений равна общему падению.

Порядок замен влияет на распределение совместных изменений между факторами. Поэтому «вклад конверсии −324 тысячи» — результат выбранного арифметического разложения, а не доказанная потеря от одной причины. Для регулярной отчётности сохраняйте порядок либо используйте заранее выбранное симметричное разложение.

Перейдите от факторов к гипотезам

Уменьшение аудитории проверяют через приток, правила сегмента, согласия, идентификацию и технические исключения. Падение доли покупателей — через наличие товара, оплату, предложение и состав клиентов. Выручку на заказ — через скидки, товарный микс и возвраты.

Охват, доставка и клики помогают локализовать проблемы коммуникаций. Однако вставлять долю доставленных в общую формулу опасно, если в итоговой выручке есть покупки клиентов без доставки: тождество перестанет сходиться. Для воронки доставки нужен свой явно ограниченный набор участников и заказов.

Проверьте эффект состава: общая конверсия может снизиться из-за роста доли новых клиентов при неизменных показателях внутри каждого сегмента. Сравните заранее выбранные группы, используя одни и те же определения. Не ищите десятки случайных разрезов, чтобы получить удобное объяснение.

Закончите разбор планом проверки

Для каждой существенной гипотезы укажите данные, владельца и следующее действие. Пропуск заказов требует исправления интеграции; падение наличия — работы с ассортиментом; сомнение в пользе оффера — эксперимента.

Для оценки программы целиком дополните такой разбор расчётом прибыли всего портфеля CRM. Рядом с выручкой разберите вклад после переменных затрат. Рост суммы заказов за счёт глубокой скидки может не восстановить прибыль. Итог встречи должен содержать объяснимый расчёт, проверяемые гипотезы и приоритет действий, а не только новую планку продаж для CRM-команды.

Источники

Dmitriev P., Gupta S., Kim D. W., Vaz G. A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments. Proceedings of KDD. 2017.