Что такое единица рандомизации

Единица рандомизации — это объект, которому целиком назначают одно из условий эксперимента.

Им может быть человек, аккаунт, домохозяйство, магазин или компания.

Вопрос звучит просто: кому мы назначаем вариант A или B? Но от ответа зависят и реализация, и корректность анализа.

Почему не всегда подходит email-адрес

Один клиент может иметь несколько адресов. Если распределять адреса независимо, человек способен оказаться сразу в двух группах.

Обратная ситуация — несколько сотрудников используют общий корпоративный аккаунт. Изменение условий для одного пользователя может затронуть всех.

Поэтому технический идентификатор нужно сопоставить с тем, на кого фактически действует эксперимент.

Пример выбора

Условный пример. Компания тестирует новую систему рекомендаций в B2B-сервисе.

У каждого клиента-компании есть несколько сотрудников. Они работают с общей корзиной и обсуждают закупки.

Если распределить сотрудников отдельно, рекомендации разных вариантов смешаются внутри одной покупки.

Более подходящей единицей может быть аккаунт компании: все его пользователи получают одинаковый вариант.

Единица распределения и строка данных — не одно и то же

Клиент за время теста может сделать десять заказов. Но это не десять независимо распределённых участников.

Заказы одного клиента связаны между собой: у них общие потребности, бюджет и назначенный вариант.

Если анализировать все заказы как независимые, можно получить слишком оптимистичную оценку точности.

Один из вариантов — сначала рассчитать результат на клиента. Другой — использовать метод, который учитывает зависимость наблюдений.

Что проверить до запуска

Сформулируйте три вещи:

  • кому назначается воздействие;
  • какие события собираются;
  • на каком уровне рассчитывается результат и его неопределённость.

Например: «Распределяем клиентов, собираем заказы, оцениваем маржинальный доход на распределённого клиента».

Если метрика имеет другой уровень, это не обязательно ошибка. Но метод анализа должен соответствовать устройству данных.

Как выбрать правильно

Учитывайте устойчивость идентификаторов, повторные взаимодействия и возможное влияние участников друг на друга.

Чем точнее единица соответствует реальному воздействию, тем проще сохранить различие между вариантами и понять результат.