Коротко: Изменение конверсии считают по доле целевых действий до и после внедрения ИИ-агента. Для сравнения определите одну воронку, одинаковые правила включения заявок и срок, в течение которого заявка может стать заказом. Разница долей показывает изменение в процентных пунктах, а деление этой разницы на исходную долю — относительное изменение.

Отчёт по заявкам и заказам

Для конверсии заявки в заказ возьмите количество заявок, по которым оформлен заказ в согласованный срок, и разделите на число подходящих заявок. Применяйте одинаковые правила по дублям, каналам и повторным обращениям. Если клиент покупает через две недели, дайте каждой группе заявок одинаковые две недели для появления заказа.

Пусть из 500 заявок до внедрения заказом завершились 100, а после — 120 из 500. Исходная конверсия составляет 20%, следующая — 24%. Изменение равно 4 процентным пунктам, относительный рост — 20%. При нулевой исходной конверсии относительное изменение по этой формуле не рассчитывается.

Сравнительная ведомость групп

Покажите число заявок и заказов по каналам и периодам. Если одновременно изменилась реклама или скидка, учтите это при интерпретации. Для оценки вклада агента заранее выделите сопоставимую группу заявок, которую обрабатывают по прежнему процессу, и сравните результаты за один период. При возможности распределяйте заявки между группами случайно.

При проверке откройте выборку заявок в 1С, сверив даты и связанные заказы. Итог должен воспроизводиться по тому же фильтру.

Подробно про внедрение и приёмку.

Ведомость для сравнения групп

Группа заявок Подходящие заявки Заказы за 14 дней Конверсия
Новый процесс 500 120 24%
Прежний процесс 500 110 22%
Разница +2 п. п.

В этом расчёте обе группы собраны за один период. Если в прошлый период было 20%, сравнение 24% с 20% даёт изменение во времени, а разница 24% и 22% — наблюдаемую разницу между группами. Чтобы судить о вкладе агента, проверьте условия назначения заявок: каналы, команды, ассортимент и скидки. Малый объём может давать заметные колебания даже при одинаковом процессе. Для вывода о стабильности эффекта нужна оценка неопределённости и заранее выбранная длительность наблюдения.

В выгрузке сохраните идентификатор заявки, группу, дату поступления и ссылку на заказ. Если по одной заявке оформлено несколько заказов, при метрике «заявка стала заказом» считайте такую заявку один раз. После окончания набора дождитесь одинакового окна наблюдения для последней заявки в каждой группе. Разбор по каналам поможет увидеть, зависит ли изменение от состава потока. Как сверять показатели продаж с исходными операциями.

Правила расчёта перед запуском

Зафиксируйте дату начала, окно наблюдения и правило определения заказа. Укажите, как учитываются обращения, переданные другому менеджеру, и заявки, закрытые повторным контактом. Если сравниваете каналы, покажите числитель и знаменатель каждого канала: сводная конверсия может измениться при другом распределении потока.

В контрольной таблице сохраните и заявки, которые попали в новый процесс, но были переданы на ручную обработку. Если исключить их после запуска, результат может оказаться завышенным. Отдельно посчитайте долю исключений и проверьте, как они распределены по каналам и группам. В итоговом отчёте укажите дату, когда для обеих групп завершилось окно наблюдения. До этой даты результаты удобно показывать как промежуточные.

Для подготовки замера принесите правила связывания заявок и заказов, выгрузку за выбранный период и описание изменения процесса.