Как доказать, что сокращение рассылок не ухудшило результат сверх допустимого

Команда сократила рассылки и не получила статистически значимого падения продаж. Возникает соблазн написать: «Выручку сохранили, сообщений стало меньше». Но слабый тест способен не заметить и серьёзную потерю. Отсутствие убедительного различия ещё не доказывает приемлемость нового режима.

Тест не меньшей эффективности проверяет другой вопрос: можно ли исключить ухудшение больше заранее допустимой величины. Эта величина называется границей не меньшей эффективности. Для CRM она должна иметь экономическое основание, например максимально допустимую потерю вклада на клиента.

Лакенс объясняет, почему проверка практически малых эффектов требует заранее заданных границ, а обычный незначимый результат не устанавливает равноценность. В нашем случае используется односторонняя задача: важно исключить слишком сильное ухудшение, а улучшение допустимо.

Выберите границу до результата

Предположим, уменьшение контактов снижает расходы и нагрузку на базу. Команда готова принять потерю не более 10 рублей товарного вклада на клиента за квартал. Запишите, почему именно 10: экономия, ограничение риска и другие проверяемые основания.

Если главная метрика уже включает экономию сообщений, нельзя повторно оправдывать потерю теми же сэкономленными деньгами. Согласуйте состав показателя. Выручка, вклад до контактов и вклад после них дают разные границы.

Не увеличивайте допустимую потерю после просмотра интервала. Иначе проверка подстраивается под полученные данные.

Сравните две политики

Назначайте клиента в обычную или сокращённую политику до коммуникаций. Сохраните группу на всём горизонте и журнал фактических контактов. Проверьте, что политики действительно изменили число сообщений: разные лимиты могут дать почти одинаковую частоту, если сценарии редко достигают ограничения. Тогда тест фактически не проверит сокращение.

Сервисные уведомления и уже обещанные сообщения выделите заранее. Основной показатель считайте на всех назначенных клиентах. Нельзя исключать тех, кому письмо не отправилось именно из-за новой политики.

Как прочитать интервал

Разницу определим как «сокращённая политика минус обычная». Граница неприемлемой потери — минус 10 рублей.

Условный пример. Наблюдаемая разница равна минус 3 рублям, двусторонний 95%-й доверительный интервал — от минус 8 до плюс 2. Его нижняя граница выше минус 10. При заранее выбранной процедуре это позволяет отвергнуть ухудшение на 10 рублей или больше на одностороннем уровне 2,5%.

Интервал от минус 14 до плюс 6 такого вывода не даёт. Он совместим и с допустимым результатом, и с неприемлемой потерей. То, что ноль находится внутри обоих интервалов, не делает ситуации одинаковыми.

В реальном расчёте уровень ошибки, метод интервала и требуемая мощность должны быть согласованы между собой. Для денежных метрик дополнительно учитывают тяжёлый хвост и единицу рандомизации.

Чего результат не доказывает

Успешная проверка не означает полного равенства политик. Она относится к определённой границе, аудитории, метрике и периоду. Потеря в одном сегменте может скрываться общим средним, если сегмент важен и достаточно велик для отдельной проверки.

Квартальный тест также не измеряет пожизненный эффект более редких контактов. Если предполагается изменение привычки покупать или долгосрочного оттока, нужен соответствующий горизонт и отдельный план наблюдения.

Как принять решение о запуске

Сопоставьте допустимость потери с фактической экономией, отписками и качеством клиентского опыта. При неопределённом результате можно сохранить меньший масштаб или спроектировать продолжение, но нельзя объявлять сохранение выручки доказанным.

В отчёте формулируйте вывод точно: «Для этой аудитории и квартального горизонта исключили потерю больше согласованной границы». Такая фраза даёт руководителю понятное основание решения без обещания нулевого риска.

Источники

Lakens D. Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science. 2017. Т. 8, № 4. С. 355–362.