Что такое статистическая значимость

Статистическая значимость означает, что результат пересёк заранее выбранный порог статистической проверки.

Обычно проверяют нулевую гипотезу: например, что средняя конверсия двух вариантов не различается.

Важно: значимость относится к определённому тесту и его предпосылкам. Она не заменяет корректное распределение групп и качественные данные.

Что такое p-value

P-value — вероятность при верной нулевой гипотезе и выполнении предпосылок теста получить значение тестовой статистики не менее экстремальное, чем наблюдаемое.

Проще: насколько необычным было бы такое или более сильное расхождение для модели, в которой проверяемого различия нет.

P-value не показывает вероятность того, что нулевая гипотеза верна. И это не вероятность того, что результат «получился случайно».

Как используют порог

Условный пример. До эксперимента команда выбрала уровень значимости 5%, то есть α = 0,05.

После корректного расчёта получилось p = 0,03. По заданному правилу результат признают статистически значимым.

Уровень 5% описывает долгосрочную частоту ложных отклонений верной нулевой гипотезы при соблюдении процедуры. Он не означает, что конкретное решение ошибочно с вероятностью 5%.

Значимый — значит полезный?

Нет. На большой выборке даже небольшой эффект может оказаться статистически значимым.

Например, прирост продаж способен быть слишком мал, чтобы покрыть стоимость новой механики.

Поэтому вместе со значимостью нужны величина эффекта, доверительный интервал и оценка экономики.

Статистически значимым может быть и ухудшение результата.

А если значимости нет?

Это не доказывает, что эффекта нет или варианты одинаковы.

Возможно, эффект небольшой, данные слишком шумные или участников недостаточно.

Смотрите на доверительный интервал: какие улучшения и ухудшения ещё совместимы с результатом? Для доказательства практической эквивалентности нужны отдельные правила проверки.

Что повышает риск ошибочного вывода

Постоянная проверка обычного теста с остановкой при первом p < 0,05, перебор десятков метрик и выбор удачных сегментов после эксперимента.

Такие действия меняют свойства процедуры. Если они нужны, их учитывают в статистическом плане заранее.