ИИ-служба поддержки и виртуальные агенты
Виртуальные агенты и ИИ-сортировка могут отвечать на рутинные вопросы, направлять и готовить обращения и составлять черновики ответов; они помогают, когда основаны на рассмотренных знаниях, честны в отношении того, чего не знают, от них легко перейти к человеку, а их результат измеряется по тому, получили ли пользователи нужное.
Почему это важно
Service desk давно хотели отвечать на простые вопросы быстрее и дешевле. Первой попыткой были чат-боты: сценарные меню, раздражавшие пользователей. Новые помощники на основе больших языковых моделей гораздо беглее и могут обрабатывать открытые вопросы простым языком. Это делает их намного полезнее и также гораздо способнее навредить, когда они ошибаются, потому что их неверные ответы звучат верно.
Для пользователей виртуальный агент может быть быстрым путём к ответу в любой час. Для сотрудников desk ИИ-сортировка и черновики могут взять на себя сортировку и письмо, чтобы они тратили время на более трудные случаи. Для организации и то и другое может сократить стоимость контакта. Эти выгоды реальны и зависят от того, что помощник используется для правильных вопросов, поддерживается точным и не заманивает в ловушку людей, которым нужен человек.
У рисков есть человеческое лицо. Пользователь, заблокированный в системе перед сроком, медсестра, которой нужно быстрое исправление, или расстроенный человек, получающий бодрый скрипт: каждый плохо обслужен помощником, не умеющим распознать, когда передать дело. Эта тема описывает, где вписываются виртуальные агенты и ИИ-сортировка, как проектировать и тестировать их и как честно измерять. Она опирается на service desk (тема 3.1 — Служба service desk), запросы на обслуживание (тема 3.6 — Управление запросами на обслуживание) и знания (тема 3.9 — Управление знаниями) и использует идеи из темы 5.1 — ИИ в управлении услугами и темы 5.6 — Управление ИИ, риски и соответствие.
Основные понятия
Виртуальный агент. Программа, разговаривающая с пользователями текстом или голосом, чтобы отвечать на вопросы или выполнять задачи. Их описывают статьи Wikipedia о чат-ботах и виртуальных помощниках. В service desk виртуальный агент часто первая точка контакта, с путём к человеку.
На правилах и на ИИ. Ранние чат-боты следовали сценариям или сопоставляли ключевые слова. Помощники на основе ИИ интерпретируют естественный язык и могут составлять ответы. Диалоговые пользовательские интерфейсы и понимание естественного языка описывает Wikipedia. Сценарии предсказуемы и ограничены; языковые модели гибки и менее предсказуемы. Многие рабочие системы сочетают их: сценарные потоки для чувствительных задач, языковые модели для открытых вопросов.
Намерения и потоки. Намерение — то, что пользователь хочет сделать, например «сбросить пароль» или «заказать ноутбук». Многие помощники определяют намерение и затем запускают определённый поток с проверками, что безопаснее для действий. Для открытых вопросов помощник извлекает соответствующие статьи и отвечает по ним.
Обоснование (grounding). Ответ по указанным рассмотренным источникам, обычно статьям базы знаний, с их показом, а не по общей памяти модели. Генерацию с дополнением извлечением описывает Wikipedia. Обоснование снижает выдуманные ответы, но не устраняет их и делает качество вашей базы знаний пределом качества помощника. См. тему 3.9 — Управление знаниями.
Отвлечение и решение. Отвлечение (deflection) означает, что пользователь получил ответ от помощника и не обращался к человеку. Решение означает, что проблема пользователя действительно решена. Они различаются: пользователь, сдавшийся и ушедший, отвлечён, но не решён. Измеряйте решение через последующие контакты, повторные обращения и обратную связь.
Передача человеку. Передача разговора человеку с контекстом, когда помощник не может помочь или пользователь просит. Передачу вообще описывает Wikipedia. Хорошая передача несёт историю, чтобы пользователю не приходилось повторяться. Плохая бросает в очередь. Делайте «поговорить с человеком» всегда видимым.
Сортировка и маршрутизация. ИИ классифицирует входящие обращения по типу, срочности и команде и маршрутизирует. Сортировку (triage) описывает Wikipedia. Он также может обнаруживать вероятные крупные инциденты по всплеску похожих обращений. Ошибки отправляют работу не в ту очередь; частота перенаправлений — хороший показатель.
Черновики и резюме для операторов. ИИ может резюмировать длинные переписки, предлагать статьи и составлять ответы, которые оператор правит. Это сохраняет контроль за человеком, экономя время. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.
Определение настроения и срочности. Приёмы, определяющие настроение или срочность пользователя по тексту. Анализ тональности описывает Wikipedia. Он может приоритизировать расстроенного пользователя или сообщение со сроком. Он несовершенен, особенно по языкам и культурам, поэтому используйте как подсказку.
Голос и многоязычная поддержка. Распознавание и синтез речи позволяют голосовое взаимодействие; машинный перевод позволяет поддержку на большем числе языков. Эти технологии описывает Wikipedia. Качество различается по языкам и акцентам, и пользователи менее распространённых языков могут обслуживаться хуже. Проверяйте с реальными носителями.
Доступность и инклюзивность. Помощники должны работать для людей с ограничениями и для тех, кто не уверен в технологиях. Доступность и Руководство по доступности веб-контента (WCAG) описывает Wikipedia. Окно чата, которым не могут пользоваться программы чтения с экрана, исключает пользователей. Цифровое неравенство, также описанное в Wikipedia, напоминает, что не все предпочитают чат или могут им пользоваться.
Идентичность и полномочия. Помощник, способный выполнять действия, например сбрасывать пароль, должен проверять, кто спрашивает. Никогда не позволяйте помощнику предоставлять доступ по одному заявлению. См. тему 3.6 — Управление запросами на обслуживание и тему 3.13 — Управление информационной безопасностью.
Честность о том, что это машина. Пользователи должны знать, что говорят с ИИ, а помощник не должен притворяться человеком или имеющим чувства, которых у него нет. Некоторые законы требуют раскрытия; проверьте применимые правила. Статья Wikipedia о тёмных паттернах описывает приёмы дизайна, обманывающие пользователей, например сокрытие пути к человеку; избегайте их.
Безопасность помощников. Помощники сталкиваются с атаками, такими как внедрение запросов, когда текст в сообщении или документе пытается переопределить инструкции помощника. Внедрение запросов описывает Wikipedia. Не давайте помощнику полномочий, которыми мог бы воспользоваться враждебный текст, и считайте ввод пользователя и извлечённые документы недоверенными.
Конфиденциальность. Разговоры могут содержать персональные данные. Решите, что хранится, как долго, кто может читать и обучает ли это какую-либо модель. Персональные данные и Общий регламент по защите данных как одну из правовых рамок описывает Wikipedia. Берите юридическую консультацию.
Как вписываются линзы. Виртуальные агенты — видимое лицо ИИ, автоматизации и аналитики на desk. Гибкая практика предлагает начинать с нескольких тем и расширять. Автоматизация завершает задачи за разговором. Аналитика сообщает, о чём спрашивают пользователи и где помощник терпит неудачу.
Лучшие практики
- Выбирайте темы, где помощник может справиться хорошо. Начинайте с частых простых малорисковых вопросов с чёткими ответами, например как подключиться к беспроводной сети. Сначала избегайте чувствительных или ответственных тем.
- Основывайте ответы на рассмотренных статьях. Используйте извлечение из базы знаний и показывайте источник. Если ни один источник не поддерживает ответ, помощник должен сказать об этом и предложить человека.
- Сделайте путь к человеку очевидным. Показывайте чёткий вариант «поговорить с человеком» всегда и передавайте с приложенным разговором. Никогда не блокируйте его.
- Проверяйте личность для действий. Для всего, что меняет доступ или данные, используйте надёжные проверки вне чата и ограничьте то, что может делать помощник. Журналируйте каждое действие.
- Говорите пользователям, что это ИИ. Сообщите об этом в начале, скажите, с чем он может и не может помочь, и избегайте притворства человеком.
- Составьте набор тестов и запускайте его. Создайте реалистичные вопросы из реальных обращений, включая те, от которых помощник должен отказаться, и те, что пытаются им манипулировать. Запускайте набор перед запуском и после каждого изменения.
- Читайте реальные разговоры. Каждую неделю просматривайте выборку разговоров, особенно тех, где пользователь ушёл или попросил человека. Используйте их для исправления статей, потоков и инструкций.
- Измеряйте решение, а не только отвлечение. Отслеживайте последующие контакты, оценки пользователей, передачи и жалобы. Сравнивайте с базовой линией.
- Включайте всех. Проверяйте с программами чтения с экрана, с разными языками и акцентами. Сохраняйте другие каналы, например телефон и электронную почту.
- Владейте им как услугой. Назовите владельца, бюджет, график улучшений и план на случай изменения базовой модели или вендора.
Вопросы для обсуждения с командой
Какие вопросы пользователи задают чаще всего и на какие из них помощник мог бы надёжно ответить по нашим существующим статьям? Используйте данные обращений. Ожидайте короткого списка повторяющихся вопросов. Проверьте статьи на точность и полноту. В продолжение выберите пять вопросов для первого пилота.
Чего помощник не должен делать или говорить никогда и как мы это проверим? Перечислите границы: никаких изменений доступа без проверки, никаких советов по юридическим или медицинским вопросам, никаких обещаний по срокам. Ожидайте разногласий по краям. В продолжение превратите каждую границу в тест.
Что происходит, когда пользователь раздражён или просит человека, и сколько это занимает? Попробуйте сами. Ожидайте пробелов в контексте и задержек. В продолжение договоритесь о максимальном времени и стандартном формате передачи.
Как мы узнаем, что пользователи получили нужный ответ, а не просто прекратили чат? Спросите показатель. Ожидайте «доля отвлечения». В продолжение договоритесь о последующем вопросе, проверке повторных обращений и выборочном просмотре.
Кто может пользоваться этим помощником и кого он может подвести? Подумайте о людях с ограничениями, языковыми различиями или невысокой уверенностью. Ожидайте, что некоторые группы не учли. В продолжение проверьте с несколькими реальными пользователями из этих групп.
Какие данные содержат разговоры, куда они идут и кто может их читать? Пройдите поток данных. Ожидайте сюрпризов о вендорах и хранении. В продолжение запишите поток и попросите специалиста по конфиденциальности его рассмотреть.
На практике: пример управления услугами
ИТ-desk региональной службы здравоохранения поддерживает около 12 000 клинических и административных сотрудников. Звонки достигают пика на смене смен, когда врачам нужны входы и печать, а среднее ожидание — девять минут. Руководитель услуг предлагает виртуального агента в портале сотрудников и в канале мессенджера.
Команда начинает узко. Она берёт 15 самых частых вопросов «как мне» из шести месяцев обращений, рассматривает соответствующие статьи с клиническими пользователями и переписывает восемь неясных. Помощник отвечает только по этим статьям. Для сброса пароля он не действует сам; он ссылается на поток сброса системы идентификации, использующий собственную проверку. Баннер сообщает, что это ИИ-помощник, а кнопка «поговорить с человеком» передаёт разговор вместе с резюме оператору desk.
Перед запуском команда составляет 80 тестовых вопросов, включая вопросы вне этих 15 тем, например о клиническом совете, от которого помощник должен отказаться, и попытки заставить его раскрыть инструкции. Первая версия проваливает девять тестов, в основном отвечая вне своей области. Команда ужесточает инструкции и добавляет правило, что всё несопоставленное идёт человеку. В первый месяц помощник обрабатывает около 1 400 разговоров; около 40 процентов заканчиваются без обращения, а 12 процентов передаются оператору. Руководитель читает 100 разговоров каждую неделю. Она обнаруживает, что пользователи часто спрашивают о недавно изменившемся экране входа, которого статьи ещё не описывают, и команда обновляет их.
Что изменилось: время ожидания на пиках падает, а операторы тратят меньше времени на повторяющиеся вопросы. Что остаётся трудным: сотрудники ночной смены в некоторых отделениях имеют плохую связь и продолжают звонить; помощник затрудняется с вопросами на двух языках, которыми пользуются многие сотрудники, и команда ещё не нашла адекватного способа тестирования; а цены вендора растут с объёмом разговоров. Руководитель добавляет переведённые статьи и ежеквартальный пересмотр затрат.
Четыре перспективы
Команды продукта и поставки
Давайте чёткие статьи и примечания к выпуску для ваших изменений, поскольку помощник может отвечать только на написанное. Стройте потоки, которые помощник может безопасно вызывать, с собственными проверками личности.
Команды услуг и эксплуатации
Владейте качеством помощника: читайте разговоры, исправляйте статьи и улучшайте потоки. Хорошо обрабатывайте передачи и сообщайте закономерности владельцам продуктов и услуг.
Руководство и управление
Задавайте границы, финансируйте работу со знаниями и тестирование и просите показатели решения, а не только отвлечения. Следите, чтобы всегда был путь к человеку. Проверяйте вопросы данных и права.
Клиенты и пользователи
Вы должны знать, что говорите с ИИ, иметь возможность в любой момент перейти к человеку и не повторяться. Сообщайте поставщику, когда ответ был неверным или бесполезным.
Agile, ИИ, автоматизация и аналитика
Agile
Начинайте с нескольких тем, выпускайте часто, учитесь на реальных разговорах и расширяйте шагами. Привлекайте пользователей и операторов к рассмотрению того, что добавлять. Предостережение: быстрое добавление множества тем без тестирования умножает неверные ответы; добавляйте небольшими проверенными группами.
ИИ
Помощникам нужны владелец, набор тестов, обоснованные ответы и выборочная проверка. Решите, что ИИ может говорить и делать и где должен решать человек. Предостережение: настройка инструкций под прохождение тестов может сделать помощников хрупкими; обновляйте набор тестов новыми реальными вопросами. См. тему 5.1 — ИИ в управлении услугами.
Автоматизация
Связывайте помощника с определёнными потоками для рутинных запросов, с проверкой, журналами и пределами, чтобы он запускал действия, а не импровизировал их. Предостережение: помощник, способный действовать по убедительному сообщению, — цель; держите полномочия узкими и проверяйте личность вне канала. См. тему 6.5 — Самообслуживание и автоматизированное выполнение.
Аналитика
Смотрите на заданные, отвеченные, отклонённые, переданные и брошенные вопросы, оценки пользователей, повторные обращения и стоимость на решённое обращение. Предостережение: высокое отвлечение может означать, что пользователи сдались, а оценки приходят от небольшой самоотобранной группы; сочетайте с выборками разговоров. См. тему 7.7 — Аналитика опыта и настроений и книгу Service Management Metrics.
Типичные виды сбоев
- Нет выхода. Пользователи ходят по кругу с ботом. Всегда предлагайте человека, с контекстом.
- Ответы по памяти. Модель выдумывает шаги. Основывайте на рассмотренных статьях и отказывайтесь, когда не уверены.
- Отвлечение как успех. Пользователи уходят без помощи. Измеряйте решение и повторные обращения.
- Действия без проверки. Доступ предоставляется по заявлению. Проверяйте вне канала и журналируйте.
- Скрытый бот. Пользователи думают, что говорят с человеком. Скажите, что это ИИ.
- Исключённые пользователи. Программы чтения с экрана или языки не работают. Проверяйте с реальными пользователями и сохраняйте другие каналы.
- Устаревшие знания. Помощник цитирует старые статьи. Свяжите обновления с изменениями и проверяйте выборки.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Область и проект | Всё, что предлагает вендор | Несколько тем | Определённые темы, границы и потоки | Область настраивается по данным разговоров | Область координируется по функциям и каналам |
| Обоснование и знания | Память модели | Некоторые статьи | Рассмотренные статьи с показом источников | Знания обновляются по разговорам | Знания и помощник непрерывно улучшаются вместе |
| Передача и инклюзивность | Скрытая или плохая | Передача существует | Видимая передача с контекстом, доступность проверена | Передача и инклюзивность измеряются | Опыт согласован по каналам, языкам и возможностям |
| Измерение | Только объём | Отвлечение | Решение, повторные обращения и оценки | Выборки и тенденции регулярно пересматриваются | Результаты связаны со стоимостью и опытом по услугам |
Контрольный список
- Мы выбрали небольшой набор подходящих тем для помощника.
- Ответы основаны на рассмотренных статьях и показывают источники.
- Видимый вариант «поговорить с человеком» передаёт с контекстом.
- Личность проверяется вне чата для любого действия.
- Пользователям говорят, что это ИИ.
- У нас есть набор тестов, и мы запускаем его до и после каждого изменения.
- Мы каждую неделю читаем выборку разговоров.
- Мы проверили доступность и языки, на которых говорят наши пользователи.
Запросы к ИИ
Подготовьте черновик тестовых вопросов по обращениям.
Here are anonymized ticket titles and summaries from the past month: [paste]. Our assistant is allowed to answer these topics: [list].
Write 40 test questions based on the tickets: 25 inside the topics, 10 outside them that the assistant should decline, and 5 that try to make it ignore its rules. State the correct behavior for each. Do not include real personal data.
List what you are unsure of.
Просмотрите разговоры на закономерности сбоев.
Here are transcripts of conversations where the user asked for a person or left unhelped, with personal data removed: [paste].
Group them into up to six patterns, count each, quote a short example, and list a possible fix to investigate. Do not blame the user.
List what you are unsure of.
Напишите инструкции помощника для проверки.
Our assistant helps staff of [type of organization] with [topics]. It must never: [list]. It must always: [list, such as offer a person and cite sources].
Draft instructions of under 250 words for the assistant, in plain language, including what to say when it does not know. Do not invent capabilities or sources.
List what you are unsure of.
ИИ-навыки
- prompt-engineering: используйте, чтобы проектировать и проверять инструкции помощника.
- service-catalog: используйте, чтобы определить, что помощник может помочь запросить.
- survey-design: используйте, чтобы разработать обратную связь пользователей, измеряющую решение.
- getting-feedback: используйте, чтобы собирать обратную связь от пользователей и операторов.
Ключевые источники
- W3C, Web Content Accessibility Guidelines (WCAG): международный стандарт доступного веб-содержимого, применимый к интерфейсам чата.
- NIST, AI Risk Management Framework: структура для выявления рисков ИИ и управления ими.
- Wikipedia, "Chatbot" и "Virtual assistant": обзоры технологий.
- Wikipedia, "Prompt injection": предыстория главного риска безопасности.
Источники
- Chatbot — Wikipedia — https://en.wikipedia.org/wiki/Chatbot
- Virtual assistant — Wikipedia — https://en.wikipedia.org/wiki/Virtual_assistant
- Conversational user interface — Wikipedia — https://en.wikipedia.org/wiki/Conversational_user_interface
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
- Sentiment analysis — Wikipedia — https://en.wikipedia.org/wiki/Sentiment_analysis
- Accessibility — Wikipedia — https://en.wikipedia.org/wiki/Accessibility
- Web Content Accessibility Guidelines — Wikipedia — https://en.wikipedia.org/wiki/Web_Content_Accessibility_Guidelines
- Dark pattern — Wikipedia — https://en.wikipedia.org/wiki/Dark_pattern
- Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
- Web Content Accessibility Guidelines (WCAG) overview — W3C — https://www.w3.org/WAI/standards-guidelines/wcag/