Аналитика опыта и настроений
Аналитика опыта спрашивает пользователей, чем услуга им помогла, и наблюдает, как они фактически ею пользуются; опросы, текстовые отзывы, анализ тональности и соглашения об уровне опыта полезны, когда вопросы честны, смещение ответов признано, инструменты тональности проверены по собственным словам людей, а ни один человек не ранжируется и не отслеживается.
Почему это важно
Услуга может выполнить все технические целевые показатели и всё же оставить людей раздражёнными. Система работает, обращения закрыты в срок, а сотрудница утром два часа пыталась получить доступ к нужному инструменту. Панели, построенные на системных данных, этого не видят. Они считают то, что записала машина, а не то, как справился человек.
Аналитика опыта заполняет этот пробел. Она спрашивает людей напрямую короткими опросами в момент использования и более длинными периодическими. Она читает то, что они пишут: комментарии к обращениям, ответы в опросах, сообщения в чате. Она наблюдает, как они пользуются услугой, где бросают форму, сколько раз пытаются, прежде чем получится. Она соединяет это в картину опыта, которую упускают технические меры. Идея соглашений об уровне опыта (XLA), введённая в теме 3.7 — Управление уровнем услуг, состоит в том, чтобы ставить цели для опыта наряду с целями технической производительности.
У методов свои риски. Опросы достигают только отвечающих. Инструменты анализа тональности угадывают чувства по словам и часто ошибаются, особенно между языками и культурами. Оценки становятся целями, а цели провоцируют давление на отвечающих. Данные о сотрудниках поднимают вопросы конфиденциальности и доверия. Эта тема описывает, как хорошо собирать и использовать данные об опыте, честно и скромно относясь к тому, что они могут показать. Она связана со службой service desk (тема 3.1 — Служба service desk), уровнями услуг (тема 3.7 — Управление уровнем услуг), измерением (тема 7.3 — Измерение и отчётность) и использованием ИИ для чтения текста (тема 5.1 — ИИ в управлении услугами).
Основные понятия
Опыт. Что человек думает, чувствует и делает, пользуясь услугой, от первого контакта до результата. Клиентский опыт и пользовательский опыт описывает Wikipedia. Для внутренних услуг «клиенты» — коллеги, а термин цифровой опыт сотрудника иногда применяют к тому, как люди переживают свои технологии. Он включает лёгкость, скорость, доверие и достижение цели.
Удовлетворённость и родственные меры. Удовлетворённость клиентов, описанную в Wikipedia, обычно спрашивают как «насколько вы удовлетворены?» по шкале. Индекс потребительской лояльности (net promoter score), также описанный там, спрашивает, насколько вероятно, что человек порекомендует услугу, и вычисляется как доля промоутеров минус доля критиков. Другие меры спрашивают об усилии, например насколько легко было что-то получить. У каждой есть применения и критика: они быстры и сопоставимы, а также грубы и допускают подтасовку и неверное прочтение.
Транзакционные опросы и опросы отношений. Транзакционный опрос спрашивает об одном взаимодействии, например решённом обращении, вскоре после него. Опрос отношений спрашивает об услуге в целом с интервалами. Транзакционные опросы показывают конкретные проблемы; опросы отношений — более широкий взгляд. Используйте оба и делайте их короткими.
Проектирование опросов. Формулировка влияет на ответы. Методологию опросов и частые проблемы описывает Wikipedia: наводящие вопросы, подсказывающие ответ; склонность соглашаться; социальная желательность — ответы, которые кажутся приемлемыми. Используйте нейтральные формулировки, ясную шкалу, одну идею на вопрос и поле для свободного комментария. Шкалы Лайкерта и анкеты описывает Wikipedia. Проверьте опрос на нескольких людях. См. навык survey-design в этом руководстве.
Ответы и смещение. Отвечают не все, и отвечающие нетипичны. Долю ответивших и смещение участия описывает Wikipedia: отвечают чаще люди с сильными чувствами или со свободным временем. Оценка при 10 процентах ответивших может мало говорить об остальных 90. Сообщайте долю ответивших, сравнивайте отвечающих с генеральной совокупностью, где можете, и не считайте оценку точной.
Усталость от опросов. Люди, которых спрашивают слишком часто, перестают отвечать или отвечают небрежно. Ограничивайте частоту, спрашивайте только то, что используете, и показывайте, что изменилось благодаря ответам. Опросы, исчезающие в пустоте, учат людей не утруждаться.
Текстовые отзывы. Комментарии говорят почему. Чтение выборки необходимо, а инструменты помогают с объёмом. Тематический анализ — практику выявления тем в качественных данных — и качественные исследования шире описывает Wikipedia. Подсчёт тем и цитирование примеров делает комментарии пригодными к использованию.
Анализ тональности. Программы, классифицирующие текст как положительный, отрицательный или нейтральный или по эмоции. Анализ тональности и его методы описывает Wikipedia. Он полезен для грубой сортировки больших объёмов текста. Он плохо справляется с сарказмом, смешанными чувствами, предметными терминами («критический» может быть приоритетом, а не эмоцией) и различиями языков и диалектов. Сверяйте его метки с выборкой, прочитанной людьми, и не считайте результат чувством какого-либо отдельного человека. Wikipedia также описывает распознавание эмоций, вызывающее серьёзные вопросы надёжности и этики, особенно при применении к лицам или голосам; будьте осторожны и запросите совет, прежде чем использовать такие методы.
Обнаружение тем. Методы обработки естественного языка, включая тематические модели, которые описывает Wikipedia, могут группировать комментарии по предмету. Они помогают находить темы в тысячах комментариев, а человек проверяет, называет и сверяет группы.
Поведенческие сигналы и сигналы использования. То, что люди делают, часто отличается от того, что они говорят. Брошенные формы, повторные поиски, повторные попытки и обращения после попытки самообслуживания показывают трение. Юзабилити-тестирование, в котором люди пробуют реалистичные задачи, а наблюдатели отмечают трудности, описывает Wikipedia. Несколько наблюдённых сессий часто находят проблемы, которых не выявит ни один опрос.
Качественные методы. Интервью и фокус-группы, описанные в Wikipedia, дают глубину. Небольшое число бесед с настоящими пользователями может изменить приоритеты сильнее большого опроса. Выбирайте людей, различающихся ролью, навыками и местом.
Соглашения об уровне опыта. Соглашения, задающие целевые показатели мер опыта, например «не менее 80 процентов пользователей говорят, что услуга помогла им выполнить работу». Лучше всего их использовать как общую цель и повод для разговора, с несколькими мерами, а не как единое число, привязанное к штрафам, потому что оценки опыта легко искажаются. См. тему 3.7 — Управление уровнем услуг.
Голос клиента. Практика улавливания того, что говорят клиенты, и действий по этому. Её описывает Wikipedia. Она соединяет опросы, комментарии, обращения в поддержку, отзывы и беседы и направляет выводы тем, кто может действовать.
Благополучие и нагрузка сотрудников. Аналитика может также касаться опыта персонала, поставляющего услугу: нагрузки, бремени дежурств и морального духа. Вовлечённость сотрудников и профессиональное выгорание описывает Wikipedia. Измеряйте на уровне команды, с согласия и осторожно, и действуйте по найденному.
Этика, конфиденциальность и согласие. Сбор и анализ отзывов включает персональные данные и иногда чувствительные мнения. Конфиденциальность, анонимность и информированное согласие описывает Wikipedia. Говорите, что собираете и зачем, допускайте анонимность там, где это важно, агрегируйте перед отчётом и не идентифицируйте людей по комментариям без веской причины. Мониторинг поведения или настроений сотрудников на работе, который Wikipedia описывает в статье о мониторинге сотрудников, может подорвать доверие и может быть ограничен законом; возьмите юридическую консультацию. См. тему 5.6 — Управление ИИ, риски и соответствие.
Замыкание петли. Расскажите людям, что вы услышали и что изменили. Свяжитесь с теми, кто поднял серьёзную проблему. Без видимого отклика участие падает.
Как вписываются линзы. Аналитика опыта даёт человеческий результат, к улучшению которого стремятся три другие линзы. Гибкая практика проводит небольшие эксперименты и спрашивает пользователей, помогли ли они. ИИ помогает читать и группировать текст под проверкой. Автоматизация запускает опросы и направляет отзывы.
Лучшие практики
- Спрашивайте о результатах, а не только об удовлетворённости. Включайте вопрос вроде «получили ли вы то, что нужно?» и один об усилии. Сочетайте оценки со свободным «что помешало?».
- Делайте опросы короткими и своевременными. Задавайте от одного до трёх вопросов вскоре после взаимодействия и проводите короткий опрос отношений несколько раз в год. Не спрашивайте людей многократно об одном и том же.
- Пишите нейтральные вопросы и проверяйте их. Избегайте наводящих формулировок, двойных вопросов и жаргона. Перед запуском испытайте опрос на нескольких людях из разных групп.
- Сообщайте доли ответивших и кто отвечал. Показывайте, сколько ответило, сравнивайте с совокупностью, где возможно, и описывайте пределы. Избегайте ложной точности.
- Читайте комментарии. Берите выборку каждую неделю, цитируйте в отчётах и группируйте по темам. Используйте инструменты для масштаба, с проверкой человеком.
- Проверяйте инструменты тональности по людям. Пусть люди разметят выборку, сравните с инструментом и отметьте, где он ошибается. Используйте инструмент для сортировки, а не для выводов об отдельных людях.
- Наблюдайте за поведением, а не только за словами. Смотрите на брошенные формы, повторные попытки и повторные обращения и проведите несколько юзабилити-сессий с реальными задачами. Сравнивайте то, что люди делают, с тем, что говорят.
- Используйте XLA как общую цель. Согласуйте с клиентами небольшой набор мер опыта, пересматривайте вместе и не привязывайте к штрафам или индивидуальной результативности.
- Защищайте людей. Объясняйте, что вы собираете, агрегируйте результаты, не идентифицируйте отдельных людей и получайте консультацию перед мониторингом настроений сотрудников. Никогда не используйте данные опыта для ранжирования отдельных людей.
- Замыкайте петлю наглядно. Публикуйте сводки «вы сказали — мы сделали» и следите за серьёзными проблемами. Выводите вопросы, не приводящие к действию.
Вопросы для обсуждения с командой
Что мы знаем о том, как люди переживают нашу услугу, чего не показывают наши технические меры? Перечислите недавние жалобы или комментарии. Ожидайте расхождения с панелями. В продолжение выберите один аспект, например время получения доступа, и добавьте вопрос об опыте по нему.
Кто отвечает на наши опросы и кто не отвечает никогда? Сравните отвечающих с совокупностью. Ожидайте, что таких групп, как ночной персонал или удалённые площадки, не хватает. В продолжение достаньте одну недостающую группу другим способом, например коротким интервью.
Что мы изменили в прошлом квартале благодаря сказанному пользователями и знают ли они об этом? Попросите примеры. Ожидайте немногих. В продолжение договоритесь о регулярном сообщении «вы сказали — мы сделали».
Насколько точен наш инструмент тональности, когда человек читает выборку тех же комментариев? Проверьте. Ожидайте ошибок на сарказме и предметных терминах. В продолжение договоритесь, где инструмент можно применять, а где нельзя.
Какие из наших мер опыта можно было бы поднять без улучшения опыта? Подумайте о давлении на отвечающих, избирательных опросах и закрытии обращений до вопроса. В продолжение договоритесь о правиле против влияния на ответы и проверке того, как рассылаются опросы.
Что мы собирали бы об опыте персонала и как убедимся, что это используется, чтобы помогать, а не следить? Обсудите согласие, агрегирование и цель. Ожидайте сильных мнений. В продолжение договоритесь о заявлении об использовании и привлеките представителей персонала и юридическую консультацию.
На практике: пример управления услугами
ИТ-команда национальной библиотечной сети поддерживает 6 000 сотрудников в 300 филиалах. Технические меры показывают хорошую производительность: доступность выше 99,5 процента и 92 процента обращений решены в срок. Но ежегодный опрос персонала говорит, что «ИТ-поддержка» — услуга с самой низкой оценкой, а руководители филиалов говорят, что ИТ не понимает их работу.
Менеджер услуг начинает с короткого транзакционного опроса, отправляемого автоматически при решении обращения: два вопроса («Решили ли мы вашу проблему?» и «Насколько легко было получить помощь?») и необязательный комментарий. Доля ответивших — 18 процентов. Сравнивая отвечающих с персоналом, она обнаруживает, что крупные филиалы представлены чрезмерно, а малые, удалённые почти не видны. Она добавляет ежемесячный звонок в пять случайно выбранных малых филиалов и проводит три юзабилити-сессии, в которых сотрудники пытаются запросить новый логин и забронировать экран в переговорной.
Числа показывают, что 84 процента говорят, что их проблема решена, но лишь 55 процентов — что получить помощь было легко. Комментарии, сгруппированные по темам двумя аналитиками, показывают, что самая частая жалоба — необходимость заново объяснять проблему каждому человеку: 31 процент комментариев. Инструмент тональности, проверенный на 200 размеченных вручную комментариях, неверно размечает около четверти, включая многие, где «срочно» или «критично» используются как описательные слова, поэтому команда использует его только для сортировки комментариев перед чтением. Юзабилити-сессии обнаруживают, что форма запроса требует инвентарный номер, которого большинство сотрудников не знает.
Команда меняет форму, создаёт видимую историю, сопровождающую обращение между операторами, и публикует ежемесячную заметку об изменениях. Они согласуют с руководителями филиалов целевой уровень опыта: 75 процентов сотрудников говорят, что получить помощь было легко, с квартальным пересмотром вместе с комментариями и долей ответивших. Менеджер сообщает команде, что оценки не будут использоваться для индивидуальной оценки.
Что изменилось: оценки лёгкости растут до 68 процентов за два квартала, а «объяснять заново» падает до 15 процентов комментариев. Что остаётся трудным: доля ответивших остаётся низкой в самых малых филиалах; некоторые операторы беспокоятся, что оценки используют против них, несмотря на заявление; а поставщик предложил инструмент распознавания эмоций для телефонных звонков, от которого менеджер отказывается, пока его не рассмотрят юристы и представители персонала. Она планирует расширить телефонную выборку.
Четыре перспективы
Команды продукта и поставки
Спрашивайте пользователей о результатах ваших функций, наблюдайте несколько реальных сессий и оснащайте точки трения, такие как брошенные формы. Делитесь узнанным с сервисной командой.
Команды услуг и эксплуатации
Читайте комментарии, рассказывайте клиентам, что изменилось, и используйте данные опыта, чтобы видеть, где процесс раздражает людей. Не подтасовывайте оценки и не просите людей ставить вам высокие.
Руководство и управление
Просите меры опыта с долями ответивших и комментариями. Финансируйте качественную работу и последующие действия. Не используйте оценки опыта для ранжирования или поощрения отдельных людей. Получайте консультацию по конфиденциальности и мониторингу сотрудников.
Клиенты и пользователи
Вас должны спрашивать о важном, вы должны иметь возможность говорить анонимно, где это уместно, и слышать, что изменилось. Сообщайте поставщику, где опросы упускают ваш опыт, и приводите примеры в комментариях.
Agile, ИИ, автоматизация и аналитика
Agile
Проводите небольшие эксперименты с опытом, например меняйте форму, и спрашивайте нескольких пользователей, помогло ли. Привлекайте пользователей к проектированию. Предостережение: постоянное изменение опросов разрушает сравнения; сохраняйте стабильное ядро и добавляйте вопросы бережно.
ИИ
ИИ может группировать комментарии, резюмировать темы и готовить черновики заметок «вы сказали — мы сделали», а человек сверяет с оригиналами. Назовите владельца. Предостережение: тональность и распознавание эмоций ИИ могут быть неверны и несправедливы между группами и языками; проверяйте на размеченной выборке и не применяйте к отдельным людям. См. тему 5.6 — Управление ИИ, риски и соответствие.
Автоматизация
Автоматизируйте запуск опросов, направление серьёзных комментариев человеку и напоминания о последующих действиях. Предостережение: автоматические опросы, отправляемые только после хороших исходов, завышают оценки; запускайте их последовательно. См. тему 6.2 — Автоматизация рабочих процессов и оркестрация.
Аналитика
Объединяйте оценки, доли ответивших, темы, поведенческие сигналы и технические данные. Предостережение: оценки шумны, на них влияет, кто отвечает и как задан вопрос; используйте тенденции, сообщайте неопределённость и читайте комментарии. См. тему 7.3 — Измерение и отчётность и книгу Service Management Metrics.
Типичные виды сбоев
- Только технические меры. Зелёные панели, недовольные пользователи. Добавьте меры опыта и комментарии.
- Смещение опроса игнорируется. Отвечают самые громкие. Сообщайте доли ответивших и достаньте недостающие группы.
- Наводящие вопросы. Ответы искажены. Используйте нейтральную формулировку и проверяйте.
- Доверие оценкам тональности. Инструменты ошибаются в разметке. Сверяйте с чтением людьми и используйте для сортировки.
- Оценки как цели. Люди давят на отвечающих. Используйте XLA как общую цель, с несколькими мерами.
- Усталость от опросов. Ответы падают. Спрашивайте реже и показывайте, что изменилось.
- Мониторинг людей. Страдают доверие и законность. Агрегируйте, спрашивайте согласие и берите консультацию.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Сбор | Ежегодный опрос | Транзакционные опросы | Короткие транзакционные опросы и опросы отношений с комментариями | Ответы и смещение проверяются, недостающие группы достигнуты | Отзывы из нескольких каналов интегрированы |
| Анализ | Только оценки | Темы читаются вручную | Темы с выборками, инструменты проверены по людям | Опыт связан с поведением и техническими данными | Выводы об опыте определяют планирование по услугам |
| Использование | Отчётность | Некоторые действия | Действия отслеживаются, «вы сказали — мы сделали» публикуется | Цели опыта пересматриваются с клиентами | Соглашения об опыте общие для партнёров |
| Этика | Неясна | Осведомлённость | Правила цели, анонимности и агрегирования | Практики пересматриваются с сотрудниками и советниками | Конфиденциальность встроена в сбор и аналитику |
Контрольный список
- Мы измеряем результат и усилие, а не только удовлетворённость.
- Опросы короткие, нейтральные и проверенные.
- Мы сообщаем доли ответивших и кого не хватает.
- Мы читаем комментарии еженедельно и группируем их по темам.
- Инструменты тональности проверены по меткам людей и используются только для сортировки.
- Мы наблюдаем реальное использование, а не только спрашиваем.
- Мы используем цели опыта как общие, а не как индивидуальные меры.
- Мы публикуем, что изменилось благодаря отзывам.
Запросы к ИИ
Сгруппируйте комментарии по темам для просмотра.
Here are free-text comments from users with personal details removed: [paste].
Group them into up to eight themes, give a count for each, and quote two short comments exactly for each theme. List comments that do not fit. Do not rate sentiment or guess who wrote anything.
List what you are unsure of.
Просмотрите вопросы опроса.
Here is a draft survey: [paste].
List questions that are leading, double-barreled, unclear, or likely to produce biased answers, quoting each, and suggest a neutral rewording. Do not add questions.
List what you are unsure of.
Проверьте инструмент тональности.
Here are 40 comments, each with a human label and the tool's label: [paste].
Compute the number and share of agreements and disagreements, list the comments with disagreements, and say what they have in common. Do not conclude anything about the tool beyond this sample.
List what you are unsure of.
ИИ-навыки
- survey-design: используйте, чтобы разрабатывать честные и полезные опросы.
- getting-feedback: используйте, чтобы собирать и использовать отзывы пользователей и коллег.
- stakeholder-analysis: используйте, чтобы определять, кого спрашивать и кого не хватает.
- statistical-analysis: используйте, чтобы анализировать данные ответов с учётом неопределённости.
- service-level-agreement: используйте, чтобы формулировать цели опыта рядом с техническими.
Ключевые источники
- Don Dillman, Jolene Smyth, and Leah Christian, Internet, Phone, Mail, and Mixed-Mode Surveys (4th edition, 2014): стандартное руководство по проектированию опросов.
- Jakob Nielsen, usability research (nngroup.com): практические свидетельства о юзабилити-тестировании на малых выборках.
- Сопутствующая книга Service Management Metrics: определения и ограничители мер опыта.
- Wikipedia, "Customer satisfaction" и "Sentiment analysis": обзоры основных идей.
Источники
- Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
- Customer experience — Wikipedia — https://en.wikipedia.org/wiki/Customer_experience
- User experience — Wikipedia — https://en.wikipedia.org/wiki/User_experience
- Survey methodology — Wikipedia — https://en.wikipedia.org/wiki/Survey_methodology
- Participation bias — Wikipedia — https://en.wikipedia.org/wiki/Participation_bias
- Sentiment analysis — Wikipedia — https://en.wikipedia.org/wiki/Sentiment_analysis
- Thematic analysis — Wikipedia — https://en.wikipedia.org/wiki/Thematic_analysis
- Usability testing — Wikipedia — https://en.wikipedia.org/wiki/Usability_testing
- Voice of the customer — Wikipedia — https://en.wikipedia.org/wiki/Voice_of_the_customer
- Employee monitoring — Wikipedia — https://en.wikipedia.org/wiki/Employee_monitoring
- Privacy — Wikipedia — https://en.wikipedia.org/wiki/Privacy