Коротко: Критерии приёмки ИИ-агента под ключ должны описывать вход, ожидаемое действие и наблюдаемый результат. Включите обычные документы, исключения, проверку прав, сбой обмена и повтор. Для каждого случая укажите, кто подтверждает итог и по какому документу или записи в журнале его сверяют.
Ведомость сценариев приёмки
| Случай | Что подтверждает заказчик |
|---|---|
| Обычный счёт | Строки сопоставлены с заказом, источник открывается |
| Спорный артикул | Карточка попала закупщику, исходный текст сохранён |
| Закрытое подразделение | Результат доступен только разрешённой роли |
| Сбой сохранения | Состояние видно, повтор даёт одну итоговую запись |
Укажите минимальный набор поддерживаемых входов. Если часть документов поступает сканами, добавьте их в проверку. Критерий «счёт обработан» лучше заменить перечнем обязательных полей и допустимых действий при отсутствии значения. Если принимаете результат по доле совпадений, заранее зафиксируйте выборку и правила подсчёта ошибок.
Протокол сдачи ИИ-агента
В протокол внесите проверенную версию, роль, вход, ожидаемый и фактический итог. Для спорных случаев отметьте, нужна ли правка или владелец процесса изменил правило. После исправления повторите затронутые сценарии на той же версии настроек, которую планируете передать в работу.
Отдельным пунктом проверьте передачу: администратор заказчика открывает журнал, останавливает тестовую обработку и возобновляет её по инструкции. Владелец процесса подтверждает рабочий результат на новом документе согласованного типа.
Подробно про внедрение и приёмку.
Карточка согласованного случая
Для каждого случая укажите идентификатор входа, состояние тестовой базы, роль и ожидаемый результат. Например, по заявке на две коробки менеджер должен видеть исходную единицу и вариант пересчёта, а по письму без артикула — исходный текст и поле для выбора. Для обязательных реквизитов определите точное сравнение. В текстовом пояснении может быть достаточно ссылки и проверяемого смысла.
| Условие | Какое доказательство приложить |
|---|---|
| Заполнен согласованный черновик | Ссылка на карточку и исходный документ |
| Есть неоднозначность | Запись очереди и доступ сотрудника на уточнение |
| Доступ ограничен | Результат прогона под двумя ролями, включая итоги и ссылки |
| Обрыв после записи | Одна итоговая запись и история попыток |
Проведите часть испытаний на новых документах того же типа. Если нашли ошибку, запишите версию, вход, фактический результат и предполагаемый шаг сбоя. Владелец процесса подтверждает, требует ли случай изменения правила или исправления реализации. После исправления повторите спорный и ближайший обычный случай. При проверке восстановления см. контроль повторных операций и исключений.
Контрольный прогон перед подписанием
В тестовой среде запустите сценарий под учётной записью сотрудника заказчика. Попросите его пройти цепочку самостоятельно: открыть результат, проверить источник, принять решение и найти историю операции. Администратор в это время сверяет запись в журнале и видимость очереди. Если без помощи подрядчика часть действий пройти нельзя, внесите их в протокол передачи.
Согласуйте критерии по объёму. При нескольких однотипных документах зафиксируйте, какие проверяются все, а какие попадают в выборку. Для сценариев с существенными последствиями согласуйте отдельные обязательные случаи. К ним могут относиться неправильная организация, дублирование черновика и потеря результатов после восстановления. При исправлении укажите, какая версия попала в повторную проверку и где она будет развёрнута. Что получает администратор при сдаче.
Для подготовки критериев сдачи принесите один обычный вход, спорный и описание результата по каждой роли.