Кампания запущена на клиентах без второй покупки. Через месяц аналитик снова выгружает этот сегмент и строит отчёт. Самые важные участники уже исчезли из выборки: именно они сделали вторую покупку. В итоге отчёт оценивает тех, кто остался подходящим после воздействия, и теряет исходный вопрос.

Динамический сегмент показывает, кто соответствует правилу сейчас. Аудитория эксперимента показывает, кому назначили определённую политику в момент входа. Для корректного анализа нужны оба представления, но использовать их следует для разных задач.

Сохраните исходное назначение

Минимальная запись включает идентификатор участника, время включения, группу, версию правила и признаки, по которым определялась пригодность. Также сохраняются сообщения и причины пропуска, но они не заменяют исходное распределение.

Такой подход обычно называют intention to treat, или анализом по первоначальному назначению. Клиент остаётся в своей группе, даже если не получил письмо, не открыл его или позднее перестал соответствовать сегменту. Вопрос анализа — что дала политика назначения этой механики всей подходящей аудитории.

Операционная отправка при этом обязана учитывать актуальные запреты и события. Сохранение клиента в исследовательской группе не является разрешением продолжать ему писать после отписки.

Условный пример с конверсией

В тест и контроль назначили по 5 000 клиентов без второй покупки. За 30 дней вторую покупку сделали 350 и 300 человек. Конверсия по исходным группам составила 7% и 6%; наблюдаемая разница — один процентный пункт.

Если в конце повторно выбрать только клиентов без второй покупки, в обеих группах останутся люди с нулём целевых событий по определению. Отчёт потеряет результат механики. Если выбрать только открывших письмо, возникнет другая проблема: открытие связано с интересом и доступностью контакта, а в контроле соответствующая группа вообще может отсутствовать.

Разница 7% и 6% требует оценки неопределённости. Она не становится доказанным эффектом только потому, что арифметика верна.

Проверьте пропуски и состав групп

Microsoft описывает sample ratio mismatch — отклонение численности экспериментальных групп от ожидаемого соотношения — как важный сигнал возможной проблемы назначения или данных. Такой сигнал нужно расследовать до интерпретации эффекта. Он не объясняет причину автоматически.

Сверьте журнал распределения с аналитической таблицей. Если после объединения с заказами исчезли все участники без покупок, ошибка может находиться в типе соединения данных. Если один канал теряет события только в тесте, сравнение результата становится несимметричным.

Отдельно храните причину отсутствия наблюдения. «Заказов нет» и «данные о заказах недоступны» не должны выглядеть как одинаковый ноль.

Если новые клиенты входят каждый день

Назначайте группу при первом пригодном входе и сохраняйте её на весь установленный период. Окно результата отсчитывайте от индивидуального времени включения. В отчёт за полный 30-дневный результат попадают участники, у которых это время уже прошло; предварительный отчёт должен явно показывать незавершённые окна.

Повторные входы одного клиента не являются независимыми людьми. Если задача допускает новый экспериментальный эпизод, правила повторения и анализа определяются заранее с учётом зависимости наблюдений и возможного остаточного эффекта.

Какие разрезы можно использовать

Сегменты по признакам до назначения помогают понять различия исходных аудиторий. Разрезы по действиям после назначения описывают путь клиента, но легко создают смещение. Например, «эффект среди ставших VIP» нельзя получить простым сравнением VIP в тесте и контроле, если сама кампания влияет на получение статуса.

Для отчёта сохраните исходную аудиторию, актуальный статус и результат как отдельные поля. Тогда команда сможет и корректно управлять коммуникациями сегодня, и восстановить, что произошло с людьми, которых включили в кампанию месяц назад.

Источники

Microsoft Experimentation Platform. Diagnosing Sample Ratio Mismatch in A/B Testing. Microsoft Research. 2020.