Что такое кластерная рандомизация

Кластерная рандомизация — это случайное распределение целых групп участников между условиями эксперимента.

Такие группы называют кластерами. Например, магазины распределяют между двумя сценариями обслуживания, а результат измеряют по покупкам их клиентов.

Она полезна, когда воздействие трудно назначить каждому человеку отдельно или участники сильно влияют друг на друга.

Пример из розницы

Условный пример. Сеть хочет проверить обучение консультантов новой программе лояльности.

В одном магазине сотрудники работают вместе и обмениваются информацией. Обучить половину так, чтобы вторая половина не переняла подход, сложно.

Поэтому сеть случайно распределяет 24 магазина:

  • 12 проходят обучение;
  • 12 продолжают работать по прежней схеме.

До распределения можно сгруппировать магазины по размеру и формату, чтобы учитывать важные различия.

Почему нельзя считать всех покупателей независимыми

У клиентов одного магазина общие сотрудники, расположение, ассортимент и локальные условия.

Поэтому результаты внутри магазина могут быть похожи сильнее, чем результаты случайных клиентов из разных магазинов.

Даже если в тесте десятки тысяч покупателей, случайное назначение произошло только для 24 магазинов. Игнорирование этого обстоятельства может заметно занизить неопределённость.

Что важно для планирования

Значение имеют число кластеров, их размеры и сходство результатов внутри каждого.

Добавление новых независимых магазинов нередко даёт больше информации, чем увеличение числа наблюдений в уже включённых.

Конкретный размер эксперимента нужно рассчитывать с учётом кластерной структуры.

Также заранее определите, какой эффект нужен: для среднего магазина или среднего клиента. При разных размерах магазинов эти оценки могут отличаться.

Защищает ли метод от смешения групп

Не полностью. Сотрудники могут переходить между магазинами, а клиенты — покупать в нескольких точках.

Нужно проверить, насколько выбранные границы действительно разделяют воздействие.

Если эксперимент проходит всего в одном тестовом и одном контрольном магазине, отделить эффект программы от особенностей этих двух точек будет особенно трудно.

Как анализировать

Используйте расчёт на уровне кластеров или статистический метод, который учитывает внутрикластерную зависимость.

Обычный тест по всем покупателям как по независимым участникам для такого дизайна не подходит.