Как измерить экономию от ИИ при подготовке текстов CRM

Письмо, на которое раньше уходил час, ИИ написал за минуту. Кажется, экономия очевидна. Но затем редактор переписал вступление, маркетолог исправил условия акции, а дизайнер попросил сократить текст под макет. Если считать только генерацию, команда получит красивую цифру, которая мало говорит о реальной работе.

Генеративный ИИ создаёт текст по заданию и примерам. Он может помочь с черновиком, вариантами заголовка и адаптацией сообщения. Однако бизнесу нужен пригодный к отправке материал. Поэтому оценивать следует весь путь от принятого брифа до согласованной версии, включая проверку, неудачные попытки и исправления.

Что уже показали исследования

В эксперименте Шаккеда Ноя и Уитни Чжан 453 специалиста выполняли профессиональные письменные задания. При доступе к ChatGPT среднее время выполнения сократилось на 40%, а оценка качества выросла на 18%. Это результат конкретного исследования 2023 года с определёнными заданиями и участниками. Он не означает, что такая же экономия возникнет в CRM-команде с её согласованиями, данными и требованиями к бренду.

Практическое применение CRM Lab — проверить инструмент на собственном процессе. Отдельно измерить скорость получения черновика, трудозатраты всех участников и качество принятого материала. Эти показатели отвечают на разные вопросы, и объединять их в одну «производительность ИИ» неудобно.

Зафиксируйте результат работы

Единицей сравнения может быть одно письмо по принятому брифу. Если в задачу входят тема, строка предпросмотра, основной текст и три варианта призыва к действию, этот состав должен сохраняться в обеих группах. Нельзя сравнивать короткий AI-черновик с полностью подготовленной вручную кампанией.

До проверки задайте критерии приёмки: факты верны, обязательные условия присутствуют, обещание понятно, тон соответствует бренду, текст помещается в шаблон. Проверка фактов должна учитывать цену, срок действия предложения и ограничения для получателя. Хороший стиль не компенсирует ошибку в скидке.

Время до приёмки и затраченное рабочее время учитывайте отдельно. Письмо могло лежать у согласующего два дня, хотя его проверка заняла десять минут. ИИ способен сократить трудозатраты, но не изменить очередь согласования. Для бизнеса оба результата полезны, если их правильно назвать.

Организуйте сопоставимую проверку

Соберите типичные задания: регулярное промо, сервисное сообщение, сложную персональную коммуникацию. Разделите их по сложности и внутри каждой категории случайно назначайте способ подготовки. Участвовать должны несколько сотрудников: иначе результат конкретного автора легко принять за эффект инструмента.

Не просите человека второй раз решать то же задание другим способом: он уже знает удачный ответ. Если задания выполняются разными авторами, учитывайте различия их опыта. Первые тренировочные попытки можно выделить в этап освоения, но затраты этого этапа всё равно включить в расчёт внедрения.

По возможности показывайте проверяющему тексты без отметки о способе подготовки. Сначала оценивайте качество по общей шкале, затем раскрывайте способ. Правила и шкалу нельзя менять после знакомства с результатом только потому, что одна группа оказалась слабее ожидаемого.

Переведите минуты в экономику

Условный пример. Команда делает 30 сопоставимых писем в месяц. Раньше полный цикл активной работы занимал в среднем 60 минут на письмо, то есть 30 часов. С ИИ он занимает 34 минуты, или 17 часов. На настройку инструкций и обучение в первый месяц ушло ещё шесть часов. Высвободилось семь часов в первый месяц и потенциально 13 часов в последующие, если качество и состав задач сохранятся.

При расчётной стоимости часа 2 000 рублей это ресурс на 14 000 и 26 000 рублей соответственно. Если сервис стоит 18 000 рублей в месяц, первый месяц по такому расчёту не окупается. Но даже последующая положительная разница ещё не означает уменьшение расходов на зарплату: сотрудники продолжают получать её в прежнем размере.

Высвобождённая ёмкость превращается в пользу, когда команда действительно использует её: выпускает нужные кампании без сверхурочной работы, отказывается от части подрядных часов или быстрее проверяет гипотезы. Производство кампаний следует оценивать с учётом этого нового ограничения: иногда после ускорения текста главным препятствием становится дизайн.

Когда масштабировать применение

Не усредняйте всё сразу. ИИ может заметно ускорять простое промо и замедлять сложные сообщения, в которых много исключений. Для каждого типа задач определите допустимые ошибки, обязательную проверку и ответственного за выпуск.

Повторяйте оценку после смены модели, шаблонов и требований. Сохраните набор типичных заданий, чтобы видеть, изменилось ли качество. При этом новые задачи тоже должны попадать в проверку: один знакомый набор не описывает всю работу.

Итог пилота — решение о конкретном применении: какие тексты готовим с ИИ, кто проверяет результат, сколько труда действительно высвобождается и на что его направляем. Экономику ИИ-модуля рассчитывают уже по этому процессу, а не по скорости появления первых абзацев.

Источники

Noy S., Zhang W. Experimental evidence on the productivity effects of generative artificial intelligence. Science. 2023. Vol. 381, No. 6654. P. 187–192. DOI: 10.1126/science.adh2586.