Что такое доверительный интервал

Доверительный интервал — это диапазон, рассчитанный по данным с помощью статистической процедуры, чтобы показать неопределённость оценки параметра.

Например, вместо одного числа «прирост конверсии — 2 процентных пункта» мы показываем также, насколько точно этот прирост оценён.

Узкий интервал означает более точную оценку в рамках выбранной модели. Широкий — большую неопределённость.

Как читать пример

Условный пример. Оценка разницы конверсий между тестом и контролем равна +2 процентным пунктам.

95%-й доверительный интервал: от +0,4 до +3,6 процентного пункта.

Данные указывают на положительный эффект, но не позволяют утверждать, что он точно равен двум пунктам.

Если бизнесу для окупаемости нужен прирост хотя бы в один пункт, интервал ещё включает значения ниже этого порога. Следовательно, статистическая и экономическая оценки могут приводить к разным вопросам.

Что означает уровень 95%

Если многократно повторять процедуру на новых сопоставимых выборках, то при выполнении её предпосылок примерно 95% построенных интервалов накроют истинный параметр.

Это характеристика метода построения.

В классической интерпретации нельзя автоматически говорить: «Вероятность, что истинный эффект внутри уже рассчитанного интервала, равна 95%».

Также интервал для среднего эффекта не означает, что в нём находятся результаты 95% клиентов.

Что означает попадание нуля

Для разницы показателей ноль означает отсутствие различия.

Если интервал включает ноль, данные при соответствующей проверке могут быть совместимы и с отсутствием эффекта.

Но диапазон от −0,1 до +0,1 пункта и диапазон от −5 до +5 пунктов дают совершенно разную точность. В первом случае крупные эффекты почти исключены выбранной процедурой, во втором неопределённость велика.

От чего зависит ширина

От объёма и вариативности данных, структуры зависимости между наблюдениями, уровня доверия и метода расчёта.

Больше независимой информации обычно сужает интервал. Более высокий уровень доверия при прочих равных делает его шире.

Чего интервал не исправляет

Он не устраняет ошибки данных, загрязнение контроля или неверный дизайн. Можно получить узкий интервал вокруг смещённой оценки.

Поэтому точность расчёта нужно рассматривать вместе с качеством самого исследования.