Что такое основная метрика

Основная метрика эксперимента — заранее выбранный показатель, по которому проверяют главную гипотезу и оценивают результат воздействия.

Она помогает избежать ситуации, когда после теста команда выбирает любой улучшившийся показатель и объявляет успех.

Чаще удобно иметь одну основную метрику. Если их несколько, правила совместной проверки нужно предусмотреть заранее.

Как связать метрику с задачей

Если цель — первая покупка, число открытий письма слишком далеко от бизнес-результата.

Если цель — прибыльное увеличение продаж, одной выручки может быть недостаточно: скидка способна увеличить продажи и одновременно ухудшить экономику.

Метрика должна отражать решение, которое компания собирается принять.

Пример точного определения

Условный пример. Магазин проверяет предложение для клиентов после первого заказа.

Основная метрика:

«Доля распределённых клиентов, совершивших хотя бы один завершённый повторный заказ в течение 30 суток после включения в эксперимент».

Здесь определены аудитория, действие, статус заказа и срок.

Для денежной метрики можно выбрать маржинальный доход на распределённого клиента. В таком расчёте клиенты без покупок тоже остаются в знаменателе.

Какие ещё показатели нужны

Основная метрика не отменяет остальные.

Диагностические показатели помогают понять механизм: доставка, переходы, посещение карточек.

Защитные метрики показывают возможный ущерб: жалобы, отписки, возвраты, ухудшение маржинальности.

Например, рост повторных покупок при резком увеличении возвратов требует отдельного разбора.

Допустимые ограничения по важным защитным показателям также лучше определить до теста.

Почему нельзя менять метрику после результата

Допустим, покупки не выросли, но клики увеличились. Это полезное наблюдение, однако оно не подтверждает исходную гипотезу о покупках.

Можно сформулировать новую гипотезу и проверить её отдельно. Нельзя задним числом представлять рост кликов как заранее выбранную цель.

Чем больше показателей проверяется без поправок, тем выше вероятность случайно найти «положительный» результат.

Что записать в план

Укажите название, формулу, источник данных, правила обработки возвратов и пропусков, окно наблюдения и направление желательного изменения.

Точное определение метрики позволяет воспроизвести расчёт и не спорить о смысле результата после завершения эксперимента.