Что такое рандомизация

Рандомизация — это случайное распределение участников или других выбранных единиц между условиями эксперимента.

Она нужна, чтобы назначение воздействия не зависело от заинтересованности клиента, решения менеджера или других факторов, связанных с результатом.

Например, клиент попадает в тест по случайному правилу, а не потому, что недавно собирался купить.

Что она даёт

При корректном распределении группы сопоставимы в среднем — как по известным, так и по неизвестным характеристикам.

Но рандомизация не гарантирует полного совпадения каждой конкретной пары групп. Случайные различия возможны, особенно при небольшом числе участников.

Именно поэтому результаты оценивают с учётом статистической неопределённости.

Как это выглядит на практике

Условный пример. В эксперимент подходят 4 000 клиентов.

Система случайно назначает половину в тест, половину в контроль и сохраняет результат распределения.

Нельзя сначала отобрать в тест самых активных, а оставшихся назвать контролем. Даже одинаковый размер групп не сделает такое сравнение равнозначным.

Также не стоит автоматически считать случайным деление «старые ID — в тест, новые — в контроль»: идентификатор может быть связан с датой регистрации.

Можно ли заранее учесть важные различия

Да. Например, сначала разделить клиентов по давности последней покупки, а затем провести случайное распределение внутри каждой категории.

Это называют стратифицированной рандомизацией. Она помогает учитывать заранее известные характеристики.

Категории и правило распределения определяют до получения результатов, а не подбирают ради желаемого эффекта.

Почему состав групп нужно сохранять

Если при каждом запуске сценария распределять клиентов заново, один человек может получить оба варианта.

Для эксперимента с устойчивым воздействием, например серией писем, это нарушит запланированное сравнение.

Поэтому нужны стабильный идентификатор участника и сохранённая принадлежность к группе.

Рандомизация и случайная выборка — разные задачи

Случайная выборка определяет, кого включить в исследование из более широкой аудитории.

Рандомизация определяет, какое условие получат включённые участники.

Можно корректно распределить подписчиков между группами и получить надёжное сравнение для них. Но это ещё не означает, что результат автоматически распространяется на всех клиентов компании.