Коротко: Изменение конверсии считают по доле целевых действий до и после внедрения ИИ-агента. Для сравнения определите одну воронку, одинаковые правила включения заявок и срок, в течение которого заявка может стать заказом. Разница долей показывает изменение в процентных пунктах, а деление этой разницы на исходную долю — относительное изменение.
Отчёт по заявкам и заказам
Для конверсии заявки в заказ возьмите количество заявок, по которым оформлен заказ в согласованный срок, и разделите на число подходящих заявок. Применяйте одинаковые правила по дублям, каналам и повторным обращениям. Если клиент покупает через две недели, дайте каждой группе заявок одинаковые две недели для появления заказа.
Пусть из 500 заявок до внедрения заказом завершились 100, а после — 120 из 500. Исходная конверсия составляет 20%, следующая — 24%. Изменение равно 4 процентным пунктам, относительный рост — 20%. При нулевой исходной конверсии относительное изменение по этой формуле не рассчитывается.
Сравнительная ведомость групп
Покажите число заявок и заказов по каналам и периодам. Если одновременно изменилась реклама или скидка, учтите это при интерпретации. Для оценки вклада агента заранее выделите сопоставимую группу заявок, которую обрабатывают по прежнему процессу, и сравните результаты за один период. При возможности распределяйте заявки между группами случайно.
При проверке откройте выборку заявок в 1С, сверив даты и связанные заказы. Итог должен воспроизводиться по тому же фильтру.
Подробно про внедрение и приёмку.
Ведомость для сравнения групп
| Группа заявок | Подходящие заявки | Заказы за 14 дней | Конверсия |
|---|---|---|---|
| Новый процесс | 500 | 120 | 24% |
| Прежний процесс | 500 | 110 | 22% |
| Разница | +2 п. п. |
В этом расчёте обе группы собраны за один период. Если в прошлый период было 20%, сравнение 24% с 20% даёт изменение во времени, а разница 24% и 22% — наблюдаемую разницу между группами. Чтобы судить о вкладе агента, проверьте условия назначения заявок: каналы, команды, ассортимент и скидки. Малый объём может давать заметные колебания даже при одинаковом процессе. Для вывода о стабильности эффекта нужна оценка неопределённости и заранее выбранная длительность наблюдения.
В выгрузке сохраните идентификатор заявки, группу, дату поступления и ссылку на заказ. Если по одной заявке оформлено несколько заказов, при метрике «заявка стала заказом» считайте такую заявку один раз. После окончания набора дождитесь одинакового окна наблюдения для последней заявки в каждой группе. Разбор по каналам поможет увидеть, зависит ли изменение от состава потока. Как сверять показатели продаж с исходными операциями.
Правила расчёта перед запуском
Зафиксируйте дату начала, окно наблюдения и правило определения заказа. Укажите, как учитываются обращения, переданные другому менеджеру, и заявки, закрытые повторным контактом. Если сравниваете каналы, покажите числитель и знаменатель каждого канала: сводная конверсия может измениться при другом распределении потока.
В контрольной таблице сохраните и заявки, которые попали в новый процесс, но были переданы на ручную обработку. Если исключить их после запуска, результат может оказаться завышенным. Отдельно посчитайте долю исключений и проверьте, как они распределены по каналам и группам. В итоговом отчёте укажите дату, когда для обеих групп завершилось окно наблюдения. До этой даты результаты удобно показывать как промежуточные.
Для подготовки замера принесите правила связывания заявок и заказов, выгрузку за выбранный период и описание изменения процесса.