В базе две тысячи подходящих клиентов. Команда хочет проверить рост конверсии с 5% до 6% за неделю и получить уверенный ответ. Сервис A/B-тестирования создаст группы, но не создаст недостающую информацию: при таком объёме небольшой полезный эффект может остаться неразличимым.

Минимальный обнаруживаемый эффект, или MDE, — размер изменения, для которого выбранный тест при заданном объёме имеет согласованную вероятность обнаружения. Это не минимальная разница, которая иногда окажется значимой. Мощность показывает вероятность обнаружить заданный эффект при выполнении предпосылок расчёта.

Переведите бизнес-вопрос в размер эффекта

Запишите исходную частоту события, минимально полезное изменение, единицу назначения и горизонт. Рост с 5% до 6% — один процентный пункт, или 20% относительно исходных 5%. Для расчёта выборки нужны абсолютные доли.

При равных независимых группах, двустороннем уровне значимости 5% и мощности 80% для такого сравнения потребуется примерно по 8 200 человек на вариант. Это ориентир для простой проверки двух долей, без поправок на несколько вариантов и другие особенности дизайна. Общая база в 2 000 человек заметно меньше.

Руководство NIST связывает требуемый объём с уровнем значимости, мощностью и величиной изменения. Уменьшить выборку, сохранив все эти параметры, одним выбором удобного калькулятора нельзя.

Выберите вопрос, который база способна проверить

Можно сравнить более разные варианты предложения, сократить число веток или выбрать частое действие, непосредственно связанное с задачей. Но замена покупки кликом меняет вывод: тест кликов не доказывает рост выручки.

Полезно заранее посмотреть ожидаемый диапазон неопределённости. Если он заведомо включает и существенную прибыль, и значимый убыток, тест не сможет единолично решить бюджетный вопрос. Тогда его цель — проверить техническую выполнимость или направление изменения, а не объявить победителя по продажам.

СитуацияРазумный следующий шаг
Новые подходящие клиенты регулярно появляютсяНабирать их дольше по неизменному правилу
В базе много прежних покупокПроверить уменьшение шума с помощью предпериода
Покупка редкая, но есть конкретный барьерОтдельно проверить устранение барьера и его ближайший результат
Ошибка выбора недорогая и обратимаяОграниченный запуск с явным признанием неопределённости
Возможный ущерб великСократить масштаб и собрать дополнительные основания

Не превращайте отправки в независимых людей

Десять писем одному клиенту не дают десять независимых участников. Его покупки и реакции связаны. Для клиентской рандомизации основной результат обычно агрегируют на человека за период, сохраняя исходную группу.

Смена вариантов между отправками может быть отдельным дизайном, но потребует учёта переноса эффекта: первое письмо влияет на реакцию на второе. Просто перемешать письма и применить обычный тест к строкам журнала нельзя.

Длительное накопление тоже имеет ограничения. Меняются ассортимент, сезон, состав новых клиентов и сама механика. Сохраняйте версию воздействия и проверяйте, какое сравнение остаётся содержательно общим.

Проверьте, что можно узнать без большого теста

Интервью и наблюдение за выполнением задачи помогут найти непонятные условия, неработающую ссылку или неудобный шаг. Они не оценивают точный прирост продаж, зато способны объяснить, что именно стоит тестировать.

Историческое сравнение может дополнять решение, но сезонность и самоотбор не исчезают от более сложного графика. Байесовский расчёт также не создаёт новые данные: при малом объёме результат может сильно зависеть от исходных предположений.

Как представить результат руководству

Покажите наблюдаемую разницу, интервал, доступный объём и диапазон эффектов, который тест мог надёжно обнаружить. Отдельно сформулируйте решение: продолжить, ограниченно внедрить, изменить механику или остановить.

Фраза «не нашли убедительного эффекта» может быть точным и полезным результатом. Она сохраняет границы знания и помогает выбрать следующий шаг вместо повторного запуска того же слабого теста с ожиданием другого p-value.

Источники

NIST/SEMATECH. Sample Sizes Required. e-Handbook of Statistical Methods, раздел 7.2.4.2. Проверено 22.09.2026.