Как рассчитать тест по магазинам, если покупателей много, а магазинов мало

Сеть хочет проверить новую программу работы продавцов. Покупателей за месяц много, но магазинов всего двенадцать. Если продавцы применяют механику ко всему залу, разделить клиентов одного магазина на независимые варианты трудно. Тогда случайно распределяют сами магазины.

Это кластерный эксперимент: воздействие назначается группе людей целиком. Магазин называется кластером, а покупатели внутри него — наблюдениями. Для точности важны и количество магазинов, и сходство результатов покупателей внутри каждой точки.

Мартин Блэнд показывает, как кластеризация меняет расчёт выборки: наблюдения внутри одного кластера нельзя считать полностью независимыми. Игнорирование этой связи может сделать доверительные интервалы необоснованно узкими. Для розницы статистический принцип применим, но исходные параметры нужно оценивать на собственных данных.

Почему тысяча покупателей не заменяет десять магазинов

У покупателей одной точки общие ассортимент, персонал, локальный спрос и перебои поставок. Если магазин попал в ремонт, это затронет многих клиентов сразу. Дополнительные покупки в этой точке уточняют её результат, но не создают новые независимые магазины.

ICC, внутрикластерная корреляция, характеризует сходство значений выбранной метрики внутри кластера. Для разных метрик и периодов ICC может различаться. Нельзя взять коэффициент из чужой отрасли как установленный факт для своей сети.

Для одинаковых размеров кластеров часто используют приближение: дизайн-эффект равен 1 + (m − 1) × ICC, где m — число наблюдений в кластере. Оно показывает, насколько кластеризация увеличивает дисперсию среднего по сравнению с независимыми наблюдениями при соответствующей модели.

Условный пример. В 12 магазинах по 500 покупателей; ICC равна 0,02. Дизайн-эффект: 1 + 499 × 0,02 = 10,98. Деление 6 тысяч наблюдений на 10,98 даёт около 546 — грубый ориентир объёма независимой информации. Это не разрешение считать обычный тест на 546 клиентах: независимых кластеров по-прежнему только 12, по шесть на вариант.

Сначала задайте бизнес-вопрос

Эффект на среднего покупателя и эффект на средний магазин — разные показатели. Большая точка получит больший вес в первом расчёте; во втором каждая точка может иметь одинаковый вес. При связи размера магазина с эффектом выводы разойдутся.

До запуска определите, что войдёт в числитель и знаменатель. Если программа меняет посещаемость, сравнение только среднего чека не описывает весь денежный результат. Если клиенты ходят в несколько магазинов, заранее решите, как учитывать переходы и возможное смешение воздействий.

Подготовьте расчёт до распределения

Для похожих точек можно заранее создать пары или слои и случайно назначить вариант внутри них. Тогда анализ должен учитывать именно такой дизайн. Подбирать пары после просмотра эффекта нельзя.

Сильно различающиеся размеры требуют отдельного расчёта. Простая формула для одинаковых кластеров не охватывает весь реальный дизайн. Полезна симуляция назначения на исторических данных с реалистичными эффектами, сезонностью и способом анализа.

Что поручить аналитику

Попросите показать точность при нескольких сценариях ICC, а не единственное оптимистичное число. Укажите, какие поправки используются при малом числе кластеров. Обычная кластерная стандартная ошибка, рассчитанная как для большой сети, может быть ненадёжна при двенадцати магазинах.

Если применяется перестановочный анализ, перестановки должны соответствовать реальному назначению магазинов, в том числе парам и ограничениям. Перемешивание отдельных чеков нарушит дизайн.

Продление периода увеличивает число покупок, но не обязательно устраняет нехватку независимых точек. Смена вариантов по периодам тоже не является автоматическим решением: обучение продавцов и выданные бонусы могут сохранять эффект после переключения.

Как принять решение при ограниченной сети

Если точности недостаточно, можно добавить магазины, упростить воздействие до индивидуального назначения или признать пилот проверкой исполнимости, а не точной оценкой прибыли. В отчёте отдельно показывают устойчивость внедрения и неопределённость денежного результата.

Если доступный дизайн не даёт нужной точности, используйте протокол решения после неопределённого теста. Задача расчёта — заранее обнаружить предел измеримости. Большая таблица чеков не должна создавать ложное ощущение, что небольшой эксперимент способен ответить на любой вопрос.

Источники

Bland J. M. Sample Size in Guidelines Trials. Family Practice. 2000. Т. 17, Supplement 1. С. S17–S20. Авторская версия, University of York.