A/B-тест: как проверить, какой вариант действительно лучше

Что такое A/B-тест

A/B-тест — это контролируемый эксперимент, в котором участников случайно распределяют между двумя вариантами и сравнивают результат по заранее выбранным правилам.

Например, одна группа получает привычную подборку товаров, другая — подборку с учётом прошлой покупки.

Тест помогает оценить эффект различия между вариантами.

С чего начать

Сформулируйте проверяемую гипотезу.

Вместо «сделаем письмо лучше» — «подборка по прошлой категории покупки увеличит долю клиентов, совершивших заказ за 14 дней».

Затем определите аудиторию, единицу распределения, основную метрику и размер выборки.

Пример плана

Условный пример.

Остальные существенные условия сохраняют одинаковыми. Если одновременно поменять подборку, скидку и время отправки, тест оценит весь набор изменений. Выделить вклад одного элемента уже не получится.

Что означает победа варианта B

Если B показывает лучший результат, вывод относится к сравнению B с A.

Он не доказывает, что оба письма лучше отсутствия письма. Для ответа на этот вопрос нужна отдельная группа без проверяемой коммуникации.

Это особенно важно, когда платформа показывает покупки после обоих вариантов и называет их результатом рассылки.

Почему нельзя останавливаться при первом хорошем числе

В начале теста показатели могут сильно колебаться.

Если каждый день проверять обычный статистический тест и завершать эксперимент сразу после появления значимости, риск ложного вывода возрастает.

Для регулярных промежуточных решений существуют специальные последовательные методы. При обычном плане лучше соблюдать заранее установленное правило завершения.

Как принять решение

Проверьте качество распределения и данных, затем оцените величину эффекта и доверительный интервал.

Статистическая значимость не гарантирует выгодности. А отсутствие значимости не доказывает равенства вариантов.

Решение должно учитывать экономику, возможный ущерб клиентскому опыту и то, насколько точно эксперимент измерил интересующий эффект.