Собрать вопросы пользователей
Попросите сотрудников записать вопросы, которые они задают каждый день. Добавьте разные формулировки одного запроса, неполные вводные и темы, которых нет в документах. Для каждого вопроса отметьте ожидаемый источник или допустимый следующий шаг. Контрольный набор не должен состоять только из примеров разработчика. Часть вопросов полезно сохранить для проверки после настройки, чтобы оценка не сводилась к заученным демонстрациям.
Проверить содержание ответа
Важны правильность, полнота и возможность открыть источник. Ассистент должен различать сведения из материала, предположение и нехватку информации. Для цен, условий договора и технических ограничений особенно полезна ссылка на актуальный документ. Если ответа нет, допустимы уточнение или передача вопроса специалисту. Красиво написанный текст без подтверждённого содержания не следует засчитывать как успешный результат.
Проверить ограничения
Попросите помощника ответить по закрытому документу, сменить роль или выполнить действие вне согласованного сценария. Проверьте, что права доступа работают и при переформулировках. Если помощник связан с рабочими системами, отдельно проверяются просмотр, запись и подтверждение действий. Действие с внешним эффектом не должно запускаться из случайного текста вопроса. В программе испытаний фиксируются и успешные действия, и ожидаемые отказы.
Пройти весь пользовательский путь
Откройте помощника на компьютере и телефоне. Проверьте клавиатуру, закрытие окна, повторный вопрос, длинный ответ и переход по ссылке. Отдельно нужны сценарии ожидания, ошибки сервиса и пропадания сети. Пользователь должен понимать, что происходит, и иметь способ обратиться к человеку. Если предусмотрены голосовые функции, их проверяют отдельно: наличие кнопки или воспроизведение заготовки не подтверждают полный голосовой сценарий.
Зафиксировать решение
В протоколе укажите версию решения, источники знаний, вопросы и фактические результаты. Разделите критичные дефекты, замечания по удобству и пожелания. Определите, что исправляется до запуска и кто отвечает за дальнейшие обновления. Показатели стоит пересматривать после изменения модели, документов или интеграций. Приёмка даёт заказчику основание для решения о запуске, но не отменяет наблюдение за качеством в рабочем использовании.
Подготовка и ожидаемый результат
Что подготовить
- Описание пользователей и задач помощника
- Контрольные вопросы с ожидаемыми источниками
- Доступные роли и допустимые действия
- Условия запуска и список интеграций
Что согласуем в результате
- Программа и критерии приёмки
- Протокол проверок с замечаниями
- Перечень исправлений перед запуском
Частые вопросы
Сколько вопросов нужно для проверки?
Количество зависит от разнообразия сценариев. Важно покрыть обычные, сложные и запрещённые запросы, а затем зафиксировать фактический объём испытаний.
Можно ли принять ассистента по видео?
Видео помогает показать сценарий, но для приёмки полезны самостоятельные проверки заказчика на согласованной версии и сохранённый протокол результатов.