Самые активные покупатели часто дают лучший отчёт по SMS: быстро переходят, оформляют заказы и показывают высокую выручку на контакт. Но именно они могли бы купить без дополнительного сообщения. Хорошая конверсия канала не отвечает на вопрос, стоило ли за него платить.

Инкрементальный эффект — разница между результатом при выбранном воздействии и результатом, который получился бы без него в сопоставимых условиях. Для платного канала важно оценить эту разницу после дополнительных расходов, а не приписать сообщению все покупки в окне атрибуции.

Сформулируйте решение, которое проверяете

Вопрос «работает ли SMS» слишком широк. Полезнее: «Стоит ли добавлять SMS регулярно покупающим клиентам поверх текущих email и push?» Тогда в контроле сохраняются обычные разрешённые каналы, а тест получает дополнительную политику SMS.

Если задача — выбрать канал вместо другого, дизайн будет иным: сравниваются две политики замены. Если одновременно меняются скидка и частота, результат относится ко всему набору изменений. Эти варианты нельзя объединять в один отчёт с названием «эффект канала».

Определите регулярного покупателя до назначения

Критерий может учитывать число покупок и интервал, но должен быть зафиксирован заранее. Нельзя после кампании оставить только тех, кто снова купил: это отбор по результату, на который могла повлиять рассылка.

Затем случайно распределите доступных клиентов между вариантами. Смысл рандомизации — сделать группы сопоставимыми по исходным различиям в среднем, а не гарантировать абсолютное равенство каждого признака в конкретном тесте.

В обоих вариантах выполняются разрешения, ограничения частоты и актуальности. Если участник после назначения отказался от SMS, его не исключают из исходной группы анализа только ради более красивой конверсии.

Считайте на всех назначенных участников

Для каждого клиента суммируют финансовый результат за одинаковое окно: выручку с согласованным учётом возвратов, себестоимости и нужных переменных расходов. Затем вычитают фактические дополнительные расходы политики. Если скидка уже отражена в выручке, её не вычитают второй раз.

Разность средних между группами показывает наблюдаемый результат на назначенного клиента. Для решения о масштабировании её дополняют доверительным интервалом и оценкой расходов внедрения. Доверительный интервал показывает неопределённость оценки при выбранном статистическом методе; точечное положительное число само по себе недостаточно.

Элемент дизайнаРабочая формулировка
АудиторияРегулярные покупатели по критерию до теста
ВариантыТекущая политика и та же политика с платным каналом
Основная метрикаФинансовый результат после нужных переменных расходов на клиента
ГоризонтПериод, охватывающий решение о покупке и предусмотренный учёт возвратов
Защитные показателиЖалобы, отписки, нагрузка поддержки, нарушения правил

Условный пример: высокий оборот, отрицательная разница

В тесте и контроле по 10 тысяч клиентов. До стоимости SMS финансовый результат составляет 520 тысяч и 500 тысяч рублей. Наблюдаемый прирост — 20 тысяч рублей, или 2 рубля на участника.

В тесте фактически отправлено 8 тысяч SMS по 4 рубля. Расход равен 32 тысячам рублей. После него разница составляет −12 тысяч, или −1,20 рубля на назначенного клиента. При этом атрибуционный отчёт может показывать сотни тысяч рублей продаж после SMS.

Пример условный и не содержит оценки статистической неопределённости. Он объясняет, почему выручка после контакта и дополнительный финансовый результат отвечают на разные вопросы. Для окончательного вывода нужны исходные данные о разбросе результатов и заранее выбранный метод анализа.

Выберите горизонт, который не скрывает перенос покупки

Рассылка может ускорить заказ, который всё равно состоялся бы через неделю. Короткое окно покажет прирост, а более длинное — его исчезновение. Поэтому срок наблюдения связан с циклом покупки и решением бизнеса, а не только с удобством недельного отчёта.

Длительные последствия тоже требуют осторожности. Дополнительную отписку нельзя автоматически оценивать всей будущей ценностью клиента: отказ от канала не означает уход из бизнеса. Её цену нужно исследовать отдельно, а не подставлять произвольную сумму в калькулятор.

Не объявляйте отсутствие значимости доказательством безопасности

Если группа без SMS показала похожий результат, но интервал очень широкий, данных недостаточно для вывода «можно отключать без потерь». Для такого решения полезен тест неухудшения: заранее задаётся максимальная потеря, которую бизнес готов принять ради экономии или снижения нагрузки.

Граница должна иметь экономический смысл и быть выбрана до просмотра результата. Иначе любой неудобный итог можно объявить допустимым задним числом. При маленькой базе разумнее тестировать крупное решение достаточно долго, чем дробить аудиторию на десятки слабых сравнений.

Как превратить результат в правило

Если польза подтверждена, сформулируйте условия применения: аудитория, момент, канал, частота и содержание. Если результат неопределён, укажите, какой эффект ещё совместим с данными и чего не хватает для решения. Если затраты явно перевешивают пользу, можно сократить воздействие именно в проверенной области.

Следующий шаг — повторяемая политика с мониторингом. Регулярно покупающий клиент не обязан оставаться выгодным получателем каждого платного сообщения только потому, что его прошлые заказы красиво выглядели в отчёте.

Источники

NIST/SEMATECH. Completely randomized designs. e-Handbook of Statistical Methods, раздел 5.3.3.1. Проверено 22.09.2026.