CRM-аналитика
Квазиэксперимент: как оценить эффект, если случайного распределения не было
Время чтения: 2 мин
Уровень материала: Для начинающих
Содержание
Что такое квазиэксперимент
Квазиэксперимент — это исследовательский дизайн для оценки причинного эффекта, в котором нет обычного случайного назначения воздействия исследователем.
Вместо рандомизации используют особенности запуска, пороги участия, внешние изменения или другие обстоятельства, позволяющие построить обоснованное сравнение.
Главная задача остаётся прежней: оценить, что произошло бы с участниками без воздействия.
Когда он может понадобиться
Например, новая программа лояльности уже запущена в части магазинов, а эксперимент не планировали.
Или изменение условий доступно только клиентам, которые соответствуют определённому правилу.
В таких ситуациях иногда можно построить причинный анализ, но подход зависит от того, почему одни получили воздействие, а другие — нет.
Почему недостаточно сравнить «до и после»
Условный пример. После запуска программы повторные продажи выросли на 15%.
Одновременно начался высокий сезон и расширился ассортимент. Без дополнительного анализа неизвестно, какая часть роста связана с программой.
Также нельзя автоматически взять любые магазины без программы и объявить их контролем. Они могут отличаться расположением, клиентами и прежней динамикой.
Какие подходы используют
Разность разностей сопоставляет изменения показателя в затронутой группе и группе сравнения.
Синтетический контроль создаёт взвешенную комбинацию объектов без воздействия, похожую на исследуемый объект до запуска.
Другие дизайны используют порог участия или внешнее изменение вероятности получения воздействия.
У каждого метода свои предпосылки. Само сложное название не делает сравнение причинным.
Что нужно проверить
Соберите историю до запуска, точную дату изменения, правила участия и сведения о параллельных событиях.
Объясните, почему выбранная группа или модель описывает правдоподобный сценарий без воздействия.
Проверьте альтернативные объяснения и устойчивость результата к разумным изменениям расчёта.
Как представлять вывод
Разделяйте наблюдение и причинную интерпретацию.
«После запуска продажи выросли» — описание данных.
«Оценённый эффект программы составляет…» — вывод, который требует обоснованного дизайна и явно указанных предпосылок.
Если таких оснований нет, корректнее оставить результат описательным и использовать его для планирования следующей проверки.