Контрольная группа
Контроль нужен для оценки того, что произошло бы без проверяемого действия. Его смысл теряется, если участники получают аналогичное предложение в другом канале или состав групп меняется после запуска.
От назначения контрольной группы переходите к единице распределения, загрязнению и постоянному контролю CRM. Для случаев без случайного распределения рассмотрите ограничения альтернативных методов.
Вы сможете выбирать корректное сравнение и сохранять его смысл на всём протяжении наблюдения.
Статей этого уровня нет.
Понять задачу и основные различия
Как отличить эффект рассылки от покупок после неё
Покупки после письма ещё не доказывают его пользу. На простом примере разберите атрибуцию, контрольную группу и расчёт дополнительных покупателей.
Вводит различие наблюдаемой продажи и причины.
Разберём
- Почему покупки получателей нельзя целиком считать эффектом рассылки?
A/B-тест: как проверить, какой вариант действительно лучше
Как провести A/B-тест письма, предложения или интерфейса. Разбираем гипотезу, случайное распределение, выбор метрики и ошибки при поиске победителя.
Даёт начальную конструкцию A/B-теста.
Разберём
- Как проверить, какой вариант действительно лучше?
- Что нужно определить до сравнения двух вариантов?
Рандомизация: как распределить клиентов, чтобы сравнение имело смысл
Как случайное распределение помогает сравнивать тест и контроль. Разбираем пример, отличие от случайной выборки и причины сохранять состав групп.
Объясняет основу причинного теста.
Разберём
- Как распределить клиентов, чтобы сравнение имело смысл?
- Почему случайное распределение помогает сравнению?
Тестовая группа: на ком проверяют новое предложение
Как сформировать тестовую группу и оценить результат воздействия. Объясняем, почему нельзя оставлять в анализе только открывших письмо или покупателей.
Вводит единицу участия в эксперименте.
Разберём
- Что такое тестовая группа в эксперименте?
- Кого включать в анализ после назначения варианта?
Единица рандомизации: кого именно распределяют между вариантами
Как выбрать единицу рандомизации для CRM-эксперимента. Разбираем общие аккаунты, повторные заказы и отличие единицы распределения от строки данных.
Связывает назначение воздействия и анализ.
Разберём
- Как выбрать единицу рандомизации?
- Когда распределять человека, аккаунт или другую единицу?
Кластерная рандомизация: когда в тест распределяют магазины или команды
Как тестировать изменения на уровне магазинов, компаний и команд. Объясняем, почему большое число покупателей не заменяет достаточное число кластеров.
Вводит тестирование группами.
Разберём
- Когда в тест распределяют магазины или команды?
- Почему участников внутри магазина нельзя считать полностью независимыми?
Загрязнение контрольной группы: что делать, если контроль тоже получил предложение
Как контроль получает проверяемое воздействие через другие кампании, аккаунты и клиентов. Разбираем последствия для оценки и способы профилактики.
Показывает угрозу смыслу сравнения.
Разберём
- Что делать, если контроль тоже получил предложение?
- Как контроль получает проверяемое воздействие помимо теста?
Квазиэксперимент: как оценить эффект, если случайного распределения не было
Как исследовать эффект изменений без обычного A/B-теста. Разбираем группы сравнения, необходимые предпосылки и ограничения анализа «до и после».
Вводит альтернативу контролируемому эксперименту.
Разберём
- Как оценить эффект, если случайного распределения не было?
- Какие допущения нужны без случайного распределения?
Разность разностей: как отделить изменение в группе от общего тренда
Как работает difference-in-differences: сравнение изменений в двух группах. Разбираем расчёт, параллельные тренды и ограничения причинного вывода.
Объясняет идею разности разностей.
Разберём
- Как отделить изменение в группе от общего тренда?
- Как проверить пригодность сравнения с общим трендом?
Синтетический контроль: как собрать сравнение для одного города или магазина
Как оценить запуск программы в одном регионе с помощью синтетического контроля. Разбираем веса, данные до запуска и ограничения метода.
Вводит конструкцию синтетического контроля.
Разберём
- Как собрать сравнение для одного города или магазина?
- Как собрать сравнение для одного объекта воздействия?
Выбрать и спроектировать решение
Прогноз оттока и uplift для выбора клиентов на удержание
Высокий риск ухода не означает пользу от скидки. Как выбрать задачу модели, собрать данные эксперимента и проверить прибыль от политики удержания.
Разделяет прогноз поведения и выбор полезного воздействия.
Разберём
- Как выбирать клиентов для удержания с помощью прогноза и uplift?
- Почему высокий риск ухода не равен высокой восприимчивости к предложению?
Как тестировать CRM при маленькой базе и не обещать недостижимую точность
Что можно проверить на небольшой клиентской базе. Расчёт доступной точности, выбор гипотезы и действия, когда участников недостаточно.
Согласовывает вопрос теста с доступной точностью.
Разберём
- Какой эффект небольшая база действительно способна обнаружить?
Один клиент участвует в нескольких тестах: когда это портит вывод
Когда параллельные эксперименты совместимы. Слои назначения, карта конфликтов и пример четырёх вариантов для оценки взаимодействия механик.
Согласовывает несколько экспериментов на одной аудитории.
Разберём
- Как учитывать участие клиента в нескольких экспериментах?
- Когда параллельные воздействия меняют смысл сравнения?
Как организовать постоянную контрольную группу CRM и не потерять её смысл
Как организовать глобальный holdout CRM. Паспорт программы, правила входа, сервисные исключения, одинаковый горизонт и контроль загрязнения.
Определяет измеряемую программу CRM целиком.
Разберём
- Какие воздействия исключать из постоянного контроля?
Как рассчитать тест по магазинам, если покупателей много, а магазинов мало
Как спланировать тест, когда покупателей много, а магазинов мало. ICC, дизайн-эффект, веса точек и ограничения анализа небольшого числа кластеров.
Задаёт единицу и ограничения кластерного теста.
Разберём
- Почему множество покупателей не заменяет достаточное число магазинов?
Как считать результат, если сегмент изменился после запуска
Как сохранить исходную аудиторию и не потерять купивших клиентов в отчёте. Анализ по назначению, динамические сегменты, новые входы и проверка групп.
Сохраняет исходное назначение участников теста.
Разберём
- Почему аудиторию анализа нужно зафиксировать до воздействия?
Проверить результат и исправить ошибки
Нужен ли платный канал клиенту, который и так регулярно покупает
Проверьте, окупается ли платный канал у регулярных покупателей. Контроль, прибыль на участника, затраты и границы вывода при неясном результате.
Проверяет необходимость дополнительного канала.
Разберём
- Как измерить дополнительную прибыль платного контакта?
SRM: как разобраться с неожиданным расхождением размеров групп
Что делать, если размеры групп не соответствуют плану. Расчёт SRM, поиск потери данных и порядок восстановления достоверного сравнения.
Диагностирует нарушение назначения участников.
Разберём
- Как разобраться с неожиданным расхождением размеров групп?
- Почему нельзя просто уравнять размеры групп после запуска?
Как проверить пользу сегментации относительно общей рассылки
Как сравнить персональные подборки с общей рассылкой. Распределение клиентов, одинаковые условия, затраты на контент и оценка результата всей стратегии.
Доказывает пользу разделения аудитории.
Разберём
- Как сравнить сегментированную и общую политику отправок?
Как проверить модель сегментации: от красивых групп к дополнительному результату
Как оценить сегментацию до и после запуска: качество данных, устойчивость групп, полезность действий и экономика. Пример сравнения трёх подходов.
Завершает проектирование сегментации проверкой пользы.
Разберём
- Как понять, даёт ли модель дополнительный результат?