Что такое загрязнение контрольной группы

Загрязнение контрольной группы возникает, когда её участники получают воздействие, от которого должны быть защищены по плану эксперимента.

Например, клиент исключён из тестируемой рассылки, но получает то же предложение через другой автоматический сценарий.

В результате фактическое различие между тестом и контролем перестаёт соответствовать запланированному.

Как это происходит

Условный пример. Магазин проверяет персональный купон на повторную покупку.

Купон должны получить только участники теста. Но часть контроля оказывается в массовой кампании с таким же предложением.

Теперь сравниваются не «купон против отсутствия купона», а два режима с разной вероятностью его получения.

Другие причины — дубли профилей, повторное распределение одного человека, общий семейный аккаунт или пересылка предложения.

Если воздействие передаётся через других участников, это также связано с эффектами распространения, или spillover.

Как это влияет на результат

Контроль может начать вести себя ближе к тесту. Тогда разница между группами уменьшится.

Но направление и размер искажения не всегда предсказуемы. Всё зависит от того, кто получил дополнительное воздействие и как оно связано с поведением.

Нельзя просто прибавить к результату произвольную поправку «на загрязнение».

Любая другая рассылка — загрязнение?

Нет. Если обе группы по плану получают обычные сообщения, это часть общего фона.

Проблема возникает, когда нарушается предусмотренное различие между группами или появляется незапланированное неравенство воздействий.

Поэтому сначала нужно описать, что именно эксперимент проверяет и какие коммуникации допустимы.

Как уменьшить риск

До запуска:

  • сохраните единый список распределения;
  • проверьте дубли и связанные аккаунты;
  • настройте исключения в пересекающихся сценариях;
  • согласуйте кампании с другими командами;
  • предусмотрите учёт фактически полученных сообщений и предложений.

Если перенос воздействия вероятен внутри семьи или компании, может потребоваться распределение на уровне всей такой группы.

Что делать после обнаружения

Зафиксируйте масштаб нарушения и сохраните исходное распределение.

Удаление «загрязнённых» участников после запуска может создать новое смещение, поскольку получение предложения часто связано с поведением.

Основной анализ, дополнительные проверки и ограничения нужно описать явно. Если различие между условиями практически исчезло, исходный вопрос может потребовать нового эксперимента.