Что такое MDE

Минимальный обнаруживаемый эффект, или MDE, — это наименьший размер истинного эффекта, который запланированный тест обнаруживает с заданной мощностью при выбранном уровне значимости.

Мощность — вероятность получить статистически значимый результат, если эффект заданного размера действительно существует и предпосылки расчёта выполняются.

Например, мощность 80% означает, что в таких условиях примерно 80 из 100 повторений эксперимента обнаружат этот эффект.

Пример интерпретации

Условный пример. Базовая конверсия — 10%. Для доступной аудитории рассчитан MDE в 1 процентный пункт при мощности 80% и уровне значимости 5%.

Это означает, что тест спланирован для обнаружения изменения примерно с 10% до 11% с указанной вероятностью.

Относительный прирост здесь равен 10%:

(11% − 10%) ÷ 10% × 100% = 10%.

Один процентный пункт и один процент относительного роста — разные величины.

Что MDE не означает

Это не жёсткая граница, ниже которой значимый результат невозможен.

Меньший эффект тоже иногда может оказаться значимым, но мощность его обнаружения будет ниже. И эффект на уровне MDE не гарантирует значимость в каждом отдельном тесте.

MDE также не является прогнозом результата кампании.

Обнаруживаемый и полезный эффект — не одно и то же

Допустим, для бизнеса уже полезен прирост в 0,3 процентного пункта, а тест способен уверенно замечать только один пункт.

Такой эксперимент может пропустить экономически важное улучшение.

Поэтому сначала стоит определить, какое изменение влияет на решение, а затем проверить, позволяет ли аудитория его измерить.

От чего зависит MDE

От размера и распределения выборки, разброса метрики, уровня значимости, мощности и устройства эксперимента.

Кластерная структура, несколько вариантов и множественные проверки также влияют на расчёт.

При прочих равных для обнаружения меньшего эффекта обычно нужно больше независимой информации.

Что делать при недостаточной аудитории

Можно увеличить период набора, уменьшить шум подходящим методом анализа или пересмотреть дизайн.

Но нельзя просто ждать, пока обычный тест однажды покажет значимость, и объявлять это решением.

Если нужной чувствительности достичь не получается, ограничение нужно признать заранее: результат может остаться недостаточно точным для бизнес-выбора.