Вариант письма выигрывал по выручке до тех пор, пока в контрольной группе не появился крупный корпоративный заказ. На следующий день победитель сменился. Команда предлагает удалить заказ как выброс, но высокая сумма сама по себе ещё не делает покупку ошибкой.

У денежных метрик часто бывает тяжёлый правый хвост: большинство клиентов покупает мало или не покупает, а небольшая доля приносит очень большие суммы. Поэтому среднее по выручке может сильно меняться из-за нескольких наблюдений. Это свойство данных нужно учитывать до запуска.

Определите денежный вопрос

Если бизнес оценивает дополнительную выручку, базовая метрика — выручка на назначенного клиента, включая нули. Для оценки прибыли аналогично считают вклад после выбранных затрат на каждого назначенного клиента. Медиана отвечает на другой вопрос и может оставаться нулевой, даже когда суммарная выручка заметно меняется.

Средний чек покупателей также не заменяет выручку на клиента. Воздействие способно изменить состав купивших, и сравнение только этой части аудитории потеряет исходную рандомизацию.

В работе Dmitriev и соавторов о типичных ошибках интерпретации метрик отдельно рассматривается влияние выбросов. Авторы рекомендуют контролировать число наблюдений, затронутых правилами обработки, чтобы фильтрация сама не создала различий между вариантами.

Разделите ошибку и редкий реальный заказ

Дубль операции, неправильная валюта и сумма в копейках, прочитанная как рубли, требуют исправления. Крупный действительный заказ требует сохранения либо заранее определённого правила включения в целевую аудиторию.

Например, B2B-клиентов можно исключить до рандомизации, если эксперимент относится только к рознице и бизнес умеет надёжно различать эти группы. Исключение после просмотра результата по сумме заказа меняет предмет проверки.

Почему удобная очистка меняет ответ

Условный пример. В каждой группе 5 000 клиентов. Тест дал 1 150 000 рублей, контроль — 1 000 000. Средние равны 230 и 200 рублям; наблюдаемая разница — 30 рублей на клиента.

Один клиент теста принёс 350 000 рублей. Если убрать только его выручку, оставив прежний знаменатель, среднее теста станет 160 рублей. Направление разницы изменится. Этот расчёт показывает чувствительность, но не устанавливает, какой из двух ответов «правильный».

Нельзя выбрать вариант расчёта по знаку результата. Нужно проверить происхождение заказа и вернуться к заранее установленной метрике. Если правила оказались недостаточными, анализ обозначают как исследовательский и подтверждают новым тестом.

Выберите анализ до запуска

ПодходКакой вопрос сохраняется или меняется
Среднее исходных суммСохраняет вопрос о среднем денежном результате
Ограничение суммы сверхуОценивает результат после ограничения, а не полный оборот
МедианаОписывает середину распределения клиентов
ЛогарифмированиеМеняет шкалу и экономический смысл среднего
Разделение заранее известных сегментовПозволяет увидеть различия при достаточном объёме

Порог ограничения, если он нужен, выбирают по независимой истории и применяют одинаково. Рядом полезно сохранить исходную денежную метрику и долю суммы, изменённую обработкой.

Рассчитывайте неопределённость на уровне назначения

При назначении по клиенту сначала соберите его результат за весь период. Повторная выборка для bootstrap, если этот метод выбран, должна переносить клиента со всеми его заказами, а не перемешивать отдельные покупки как независимые.

Bootstrap — многократное построение повторных выборок из имеющихся наблюдений. Он помогает оценивать неопределённость, но не восстанавливает редкие типы крупных клиентов, которых в данных вообще не было. При коротком тесте и крайне тяжёлом хвосте интервал тоже может быть ненадёжным.

До запуска проверьте метод на исторических A/A-разбиениях и реалистичных сценариях эффекта. A/A означает случайное разделение на группы без различающего воздействия: так проверяют поведение метода в отсутствие введённого изменения. Если оценка постоянно меняет знак, полезнее увеличить число независимых клиентов или пересмотреть масштаб решения, чем искать более удобный тест.

Как представить результат

Покажите эффект и интервал, концентрацию выручки, результаты проверки крупных заказов и заранее предусмотренный анализ чувствительности. Отдельно объясните, относится ли вывод к исходной выручке или к преобразованной метрике. Руководитель должен понимать, какую именно денежную величину эксперимент способен подтвердить.

Источники

Dmitriev P., Gupta S., Kim D. W., Vaz G. A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments. Proceedings of KDD. 2017.