Что такое тестовая группа

Тестовая группа — это участники эксперимента, которым назначено проверяемое воздействие: новая коммуникация, предложение, интерфейс или способ обслуживания.

Результат сравнивают с контрольной группой. В контроле могут сохранять обычный процесс, использовать прежний вариант или не применять конкретное воздействие.

Поэтому контроль не обязательно означает полное отсутствие коммуникаций. Важно точно определить различие между группами.

Как это выглядит в CRM

Условный пример. Магазин хочет проверить напоминание о пополнении запаса кофе.

Из подходящих клиентов случайно формируют две группы:

  • тест — 1 000 клиентов, которым назначена отправка напоминания;
  • контроль — 1 000 клиентов без этого напоминания.

Обычные условия покупок и остальные коммуникации сохраняют сопоставимыми.

За 14 дней в тесте купили 120 человек, в контроле — 100.

Наблюдаемая конверсия составляет 12% и 10%. Разница — 2 процентных пункта.

Это оценка эффекта, для которой ещё нужно определить статистическую неопределённость. Само превосходство числа 120 над 100 не завершает анализ.

Почему в тесте оставляют не только прочитавших письмо

Часть писем может не доставиться. Некоторые клиенты их не откроют.

Для оценки результата назначения кампании обычно сохраняют исходные группы: всех распределённых в тест сравнивают со всеми распределёнными в контроль.

Такой подход называют анализом по первоначальному назначению, или intention-to-treat.

Если оставить только открывших, в тесте окажутся люди, которые сами проявили интерес. Их отличие от контроля уже нельзя объяснять только назначенной коммуникацией.

Что нужно зафиксировать

До запуска определите:

  • кто может участвовать;
  • что именно получает каждая группа;
  • способ распределения;
  • основную метрику;
  • срок наблюдения;
  • условия остановки сообщений.

Не исключайте участников после запуска только потому, что их поведение неудобно для результата.

Как сформулировать вывод

Полезный отчёт показывает размер групп, результат каждой, разницу и доверительный интервал.

Дополнительно стоит проверить доставку и выполнение сценария. Если половина сообщений не отправилась, эксперимент описывает результат фактически реализованной кампании, а не её идеальной версии.