Как настраивать и обучать бота
Это вводная статья по настройке Wikibot, в случае если он не находит ответ в базе знаний. В статье собраны рекомендации, соблюдая которые, вы существенно улучшите качество ответов бота.
-
Все частые вопросы лучше добавить в раздел Первая линия, т.к. он более гибко и точно определяет суть вопроса.
-
Базу знаний желательно разбивать на небольшие статьи.
-
В базу знаний нужно делать заголовки похожие на вопросы Как запустить аппарат.
-
Если в инструкции много шагов и картинок, то вначале коротко перечислить шаги: Чтобы запустить аппарат следует сделать А. … Б. ….
-
Если статья называется “Как запустить аппарат”, то в статье должна быть формулировка: Чтобы запустить аппарат …. Часто название статьи одно, а описывает она похожую тему, но другую. Таким образом не отвечая на вопрос.
-
Если статья плохо находится, то нужно в ЛК добавить к ней Дополнительный контент и в нем различные формулировки заголовков (вопросов пользователя). Также бывает, что статьи с ответом на вопрос пользователя просто нет в базе знаний, тогда нужно добавить статью.
-
Не нужно делать сразу всю базу знаний - двигайтесь итерациями. Включайте бота и смотрите какие вопросы задают пользователи и на что плохо отвечает, определив это, вновь улучшайте базу знаний.
Наш опыт показывает, что системная итеративная работа позволяет в разы улучшить качество ответов.
- Работа над ошибками бота:
Когда бот не дал ответ, первым делом нужно понять к какому из вариантов относится текущий случай:
- У бота нет информации для ответа на вопрос —> Добавьте информацию.
- Бот не смог найти статью, в которой есть ответ —> Рекомендации 2, 3, 4, 5, 6.
- Бот нашёл статью, но не нашёл в ней ответ —> Рекомендации 2, 3, 4, 5, 6.
-
Периодически выгружайте детальный отчет в ЛК Wikibot. В детальном отчете есть все вопросы пользователей и ответы бота.
-
В столбце Тип поставьте фильтр по NO_ANSWER.В столбце “Запрос” вы увидите вопросы, по которым бот не дал ответа.
-
Идите по этим вопросам и настраивайте бота так, чтобы он на них отвечал, используя рекомендации 1-7.
-
Подсчет метрик Чтобы видеть прогресс, необходимо считать метрики. Начните с самой простой: % вопросов, где бот дал ответ (относительно всех вопросов). Считайте эту метрику за интервал в день / неделю / месяц (см картинку).
Когда метрика будет регулярно больше 70% можно добавлять другие метрики.
-
Что делать, если бот отвечает неправильно? Уровень 2. Более продвинутую настройку вы можете найти здесь