体验与情感分析
体验分析询问用户服务如何帮助了他们,并观察他们实际如何使用;当问题公平、承认应答偏差、情感工具对照人们自己的话加以检查,并且不对任何个人排名或监视时,调查、反馈文本、情感分析和体验级别协议才有用。
为什么这很重要
一项服务可以达成所有技术目标,却仍让人们感到沮丧。系统在线,工单按时关闭,而一位员工那天早上却花了两个小时,想获得一个她需要的工具的访问权限。由系统数据构建的仪表板看不见这一点。它们统计的是机器记录的东西,而不是人过得怎么样。
体验分析填补了这个空白。它通过使用时刻的简短调查和较长的定期调查,直接询问人们。它阅读他们所写的内容:工单评论、调查答案、聊天消息。它观察他们如何使用服务,在哪里放弃一份表单,成功之前尝试了多少次。它把这些结合成一幅技术度量所遗漏的体验图景。主题 3.7 — 服务级别管理中介绍的体验级别协议(XLA)背后的理念,是在技术绩效目标之外,为体验设定目标。
这些方法也带来各自的风险。调查只能触及愿意回复的人。情感分析工具根据词语猜测感受,而且常常猜错,尤其是跨语言和跨文化时。分数变成目标,而目标会招致对受访者施压。员工数据引出隐私和信任方面的问题。本主题描述如何很好地收集和使用体验数据,对它能显示什么保持公平和谦逊。它与服务台(主题 3.1 — 服务台)、服务级别(主题 3.7 — 服务级别管理)、度量(主题 7.3 — 度量与报告)以及用 AI 阅读文本(主题 5.1 — 服务管理中的 AI)相联系。
核心概念
体验。 一个人在使用服务时所想、所感和所做,从首次接触到成果。维基百科描述了客户体验(customer experience)和用户体验(user experience)。对于内部服务,“客户”是同事,有时用“数字化员工体验”一词来指人们如何体验自己的技术。它包括是否轻松、速度、信任,以及是否达成了目标。
满意度及相关度量。 客户满意度(customer satisfaction,维基百科有描述)通常以“你有多满意?”这样的量表来询问。净推荐值(net promoter score,同样在该处描述)询问一个人推荐这项服务的可能性有多大,由推荐者所占份额减去贬损者所占份额算得。其他度量询问付出的努力,比如把事情办成有多容易。每一种都有用处,也有批评:它们快速而可比,但也粗糙,容易被钻空子和误读。
事务性调查与关系性调查。 事务性调查在一次交互之后不久询问这次交互,比如一张已解决的工单。关系性调查按间隔询问整体服务。事务性调查显示具体的问题;关系性调查显示更广阔的视图。两者都用,并保持简短。
调查设计。 措辞影响答案。维基百科描述了调查方法(survey methodology)和常见的问题:诱导性问题,暗示一个答案;顺从偏差,倾向于同意;以及社会期许偏差,给出似乎可被接受的答案。使用中立的措辞、清晰的量表、每个问题一个想法,以及一个开放的评论框。维基百科描述了李克特量表(Likert scales)和问卷。在几个人身上测试调查。参见本指南中的 survey-design 技能。
应答与偏差。 只有一部分人回答,而且他们不具代表性。维基百科描述了应答率和参与偏差(participation bias):感受强烈或有时间的人回复得更多。来自 10% 应答的分数,可能说明不了其余 90% 的情况。报告应答率,在可能时将应答者与总体作比较,并且不要把分数当作精确值。
调查疲劳。 被问得太频繁的人会不再回答,或草率作答。限制询问的频率,只问你会用的,并展示因答案而发生了什么变化。消失在虚空中的调查教会人们不必费心。
自由文本反馈。 评论告诉你为什么。阅读一批样本是必不可少的,工具可以帮助处理数量。维基百科描述了主题分析(thematic analysis),即在定性数据中识别主题的做法,以及更广泛的定性研究。统计主题并引用例子,使评论变得可用。
情感分析。 把文本分类为积极、消极或中性,或按情绪分类的软件。维基百科描述了情感分析(sentiment analysis)及其方法。它对大量文本的粗略分诊很有用。它对讽刺、复杂的情感、领域术语(“critical”可能是优先级,而不是情绪)以及语言和方言的差异束手无策。对照由人阅读的样本检查它的标签,并且不要把结果当作任何个人的感受。维基百科还描述了情绪识别(emotion recognition),它引出严重的可靠性和伦理关切,尤其是应用于面孔或声音时;使用这类方法之前,要谨慎并征求意见。
主题发现。 自然语言处理技术,包括维基百科描述的主题模型(topic models),可以按主题对评论分组。它们有助于在数千条评论中发现主题,并由人来命名和检查这些分组。
行为与使用信号。 人们所做的往往与他们所说的不同。放弃的表单、重复的搜索、重试,以及自助服务尝试之后的联系,都显示出摩擦。维基百科描述了可用性测试(usability testing),人们尝试现实的任务,观察者记录困难。少数几次被观察的会话,常常能发现任何调查都揭示不了的问题。
定性方法。 访谈和焦点小组(维基百科有描述)带来深度。与真实用户进行少量交谈,可能比一次大规模调查更能改变优先级。选择在角色、技能和地点上各异的人。
体验级别协议。 为体验度量设定目标的协议,比如“至少 80% 的用户说这项服务帮助他们完成了工作”。最好把它们用作共同的目标和对话,配合多项度量,而不是与罚则挂钩的单一数字,因为体验分数很容易被扭曲。见主题 3.7 — 服务级别管理。
客户之声。 捕捉客户所说的话并采取行动的实践。维基百科描述了客户之声(voice of the customer)。它汇集调查、评论、支持联系、评价和交谈,并把洞察转达给能采取行动的人。
员工福祉与工作负荷。 分析还可以关注交付服务的员工的体验:工作负荷、值班负担和士气。维基百科描述了员工敬业度和职业倦怠(occupational burnout)。在征得同意并谨慎处理的前提下,在团队层面度量,并对所发现的采取行动。
伦理、隐私与同意。 收集和分析反馈涉及个人数据,有时还涉及敏感的意见。维基百科描述了隐私(privacy)、匿名和知情同意。说明你收集什么以及为什么,在重要的地方允许匿名,在报告之前汇总,并且没有充分理由不要根据评论识别个人。监控员工在工作中的行为或情绪,维基百科在员工监控(employee monitoring)下有描述,可能损害信任,并可能受到法律限制;请征求法律意见。见主题 5.6 — AI 治理、风险与合规。
闭环。 告诉人们你听到了什么、改变了什么。对提出严重问题的人跟进。没有可见的回应,参与度就会下降。
这些视角如何契合。 体验分析给出其他三个视角力求改善的人的成果。敏捷实践开展小实验,并询问用户是否有帮助。AI 在审查下帮助阅读和分组文本。自动化触发调查并路由反馈。
最佳实践
- 询问成果,而不只是满意度。 包括类似“你得到所需要的了吗?”的问题和一个关于付出努力的问题。把分数与一个自由文本的“是什么妨碍了你?”配对。
- 让调查简短而及时。 交互之后不久询问一到三个问题,并每年做几次简短的关系性调查。不要就同一件事反复询问人们。
- 编写中立的问题并加以测试。 避免诱导性措辞、双重问题和行话。上线之前在来自不同群体的几个人身上试一试。
- 报告应答率以及谁回答了。 显示有多少人回复,尽可能与总体作比较,并描述局限。避免虚假的精确。
- 阅读评论。 每周抽样阅读,在报告中引用,并将它们归为主题。在规模上使用工具,并有人工评审。
- 对照人来检查情感工具。 让人给一批样本打标签,与工具比较,并记下它在哪里失败。把工具用于分诊,而不是用于就个人得出结论。
- 既看行为也看言语。 查看放弃、重试和重复联系,并用真实任务开展几次可用性会话。把人们所做的与所说的作比较。
- 把 XLA 用作共同的目标。 与客户商定一小组体验度量,一起评审,避免与罚则或个人绩效挂钩。
- 保护人。 说明你收集什么,汇总结果,避免识别个人,并在监控员工情绪之前征求意见。绝不要用体验数据给个人排名。
- 可见地闭环。 发布“你说了,我们做了”的总结,并跟进严重的问题。淘汰不会导致行动的问题。
与团队讨论的问题
关于人们如何体验我们的服务,我们知道什么是我们的技术度量没有显示的? 列出近期的投诉或评论。预期与仪表板不符。追问:选择一个方面,比如获得访问权限的时间,并增加一个关于它的体验问题。
谁回答我们的调查?谁从不回答? 把应答者与总体作比较。预期夜班员工或偏远站点等群体缺失。追问:用另一种方式,比如简短的访谈,触达一个缺失的群体。
上个季度我们因用户的反馈改变了什么?他们知道吗? 索要例子。预期很少。追问:商定定期的“你说了,我们做了”消息。
当人阅读同一批评论的样本时,我们的情感工具有多准确? 测试它。预期在讽刺和领域术语上会出错。追问:商定工具可以用在哪里、不可以用在哪里。
我们的哪些体验度量可以在不改善体验的情况下被推高? 想想对受访者的压力、选择性的调查,或在询问之前就关闭工单。追问:商定一条禁止影响答案的规则,并检查调查是如何发送的。
我们会收集哪些关于员工体验的信息?我们如何确保它被用来帮助而不是监控? 讨论同意、汇总和目的。预期会有强烈的看法。追问:商定一份使用声明,并让员工代表参与并获取法律意见。
实践:一个服务管理示例
一个国家图书馆网络的 IT 团队支持 300 个分馆的 6,000 名员工。技术度量显示良好的绩效:可用性超过 99.5%,92% 的工单在目标之内解决。然而一项年度员工调查说,“IT 支持”是评分最低的服务,分馆馆长说 IT 不了解他们的工作。
服务经理从一份简短的事务性调查开始,在工单解决时自动发送:两个问题(“我们解决了你的问题吗?”和“获得帮助有多容易?”)和一个可选的评论。应答率为 18%。她把应答者与员工总体作比较,发现大型分馆的比例过高,而小型偏远分馆几乎不出现。她增加了每月一次对随机选出的五个小型分馆的电话,并开展了三次可用性会话,让员工尝试申请新的登录账号并预订会议室显示屏。
数字显示,84% 的人说问题得到了解决,但只有 55% 的人说获得帮助很容易。两位分析师按主题对评论分组,结果显示最常见的抱怨是必须向每个人重新解释问题:占评论的 31%。一款情感工具,对照 200 条手工标注的评论测试,约四分之一的标签是错的,包括许多把“urgent”或“critical”用作描述性词语的评论,所以团队只把它用来为阅读而对评论排序。可用性会话发现,申请表单要求填写资产标签,而大多数员工并不知道。
团队修改了表单,创建了一份在坐席之间跟随工单的可见历史,并发布了每月一次的变更说明。他们与分馆馆长商定了一项体验级别目标:75% 的员工说获得帮助很容易,每季度评审,并附上评论和应答率。经理告诉团队,分数不会被用于个人评价。
变化在于:轻松度分数在两个季度中升至 68%,“重新解释”降至评论的 15%。仍然困难的是:最小的分馆的应答率仍然很低;一些坐席担心,尽管有声明,分数仍会被用来对付他们;一家供应商提供了一款用于电话的情绪检测工具,经理在法务和员工代表评审之前拒绝了。她计划扩大电话抽样。
四种视角
产品与交付团队
询问用户你们的功能带来的成果,观察几次真实的会话,并对放弃之类的摩擦点进行插桩。把你所学到的与服务团队分享。
服务与运维团队
阅读评论,告诉客户改变了什么,并利用体验数据看出流程在哪里让人沮丧。不要钻分数的空子,也不要要求人们给你好评。
领导层与治理
索要带有应答率和评论的体验度量。为定性工作和跟进出资。不要用体验分数给个人排名或奖励。就隐私和员工监控征求意见。
客户与用户
你应当被问到什么对你重要,在适当的地方能够匿名发言,并听到改变了什么。告诉提供者调查在哪里遗漏了你的体验,并在评论中给出例子。
敏捷、AI、自动化与分析
敏捷
对体验开展小实验,比如修改一份表单,并问几位用户是否有帮助。让用户参与设计。注意:不断更改调查会破坏可比性;保持稳定的核心,节制地增加问题。
AI
AI 可以对评论分组、总结主题并起草“你说了,我们做了”的说明,由人对照原文检查。指定负责人。注意:AI 的情感和情绪检测可能出错,并在不同群体和语言之间有失公平;在标注的样本上测试,避免用于个人。见主题 5.6 — AI 治理、风险与合规。
自动化
自动化调查的触发、把严重评论路由给真人,以及跟进提醒。注意:只在好结果之后发送的自动化调查会抬高分数;一致地触发它们。见主题 6.2 — 工作流自动化与编排。
分析
把分数、应答率、主题、行为信号和技术数据结合起来。注意:分数有噪音,受谁回答以及问题如何措辞的影响;使用趋势,报告不确定性,并阅读评论。见主题 7.3 — 度量与报告和《服务管理度量》一书。
常见失败模式
- 只有技术度量。 仪表板是绿色,用户却不满。增加体验度量和评论。
- 忽视调查偏差。 声音最大的人回复。报告应答率并触达缺失的群体。
- 诱导性问题。 答案被扭曲。使用中立措辞并测试。
- 相信情感分数。 工具会贴错标签。对照人的阅读检查,并用于分诊。
- 把分数当作目标。 人们对受访者施压。把 XLA 用作共同的目标,并配合多项度量。
- 调查疲劳。 应答下降。少问,并展示发生了什么变化。
- 监控人员。 信任和合法性受损。汇总、征求同意并征求意见。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 收集 | 年度调查 | 事务性调查 | 带评论的简短事务性和关系性调查 | 检查应答和偏差,触达缺失的群体 | 整合来自多个渠道的反馈 |
| 分析 | 只有分数 | 手工阅读主题 | 带样本的主题,工具对照人来检查 | 体验与行为和技术数据挂钩 | 体验洞察驱动跨服务的规划 |
| 使用 | 报告 | 一些行动 | 跟踪行动并发布“你说了,我们做了” | 与客户一起评审体验目标 | 体验协议在合作伙伴之间共享 |
| 伦理 | 不清楚 | 有意识 | 目的、匿名和汇总规则 | 与员工和顾问一起评审做法 | 隐私内建于收集和分析 |
检查清单
- 我们度量成果和付出的努力,而不只是满意度。
- 调查简短、中立并经过测试。
- 我们报告应答率以及缺失了谁。
- 我们每周阅读评论并将其归为主题。
- 情感工具对照人工标签检查,并仅用于分诊。
- 我们观察真实使用,而不只是询问。
- 我们把体验目标用作共同的目标,而不是个人度量。
- 我们发布因反馈而改变了什么。
AI 提示词
将评论归为主题以供评审。
这是用户的自由文本评论,已去除个人细节:[粘贴]。
请将它们分为最多八个主题,为每个主题给出数量,并为每个主题原文引用两条简短的评论。列出不适合任何主题的评论。不要评定情感,也不要猜测是谁写的。
请列出你不确定的事项。
评审调查问题。
这是一份调查草稿:[粘贴]。
请列出诱导性的、双重含义的、不清楚的,或可能产生有偏答案的问题,引用每一条,并建议中立的改写。不要增加问题。
请列出你不确定的事项。
测试情感工具。
这是 40 条评论,每条附有人工标签和工具的标签:[粘贴]。
请计算一致和不一致的数量及所占份额,列出标签不一致的评论,并说明它们有什么共同点。除这批样本之外,不要就该工具得出任何结论。
请列出你不确定的事项。
AI 技能
- survey-design:用于设计公平、有用的调查。
- getting-feedback:用于收集并运用来自用户和同事的反馈。
- stakeholder-analysis:用于确定该问谁以及缺了谁。
- statistical-analysis:用于带着不确定性分析应答数据。
- service-level-agreement:用于在技术目标之外构建体验目标。
主要来源
- Don Dillman、Jolene Smyth 和 Leah Christian,Internet, Phone, Mail, and Mixed-Mode Surveys(第 4 版,2014):调查设计的标准指南。
- Jakob Nielsen,可用性研究(nngroup.com):关于小样本可用性测试的实用证据。
- 配套的《服务管理度量》一书:体验度量的定义和护栏。
- Wikipedia, "Customer satisfaction" 和 "Sentiment analysis":对主要理念的概述。
参考文献
- Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
- Customer experience — Wikipedia — https://en.wikipedia.org/wiki/Customer_experience
- User experience — Wikipedia — https://en.wikipedia.org/wiki/User_experience
- Survey methodology — Wikipedia — https://en.wikipedia.org/wiki/Survey_methodology
- Participation bias — Wikipedia — https://en.wikipedia.org/wiki/Participation_bias
- Sentiment analysis — Wikipedia — https://en.wikipedia.org/wiki/Sentiment_analysis
- Thematic analysis — Wikipedia — https://en.wikipedia.org/wiki/Thematic_analysis
- Usability testing — Wikipedia — https://en.wikipedia.org/wiki/Usability_testing
- Voice of the customer — Wikipedia — https://en.wikipedia.org/wiki/Voice_of_the_customer
- Employee monitoring — Wikipedia — https://en.wikipedia.org/wiki/Employee_monitoring
- Privacy — Wikipedia — https://en.wikipedia.org/wiki/Privacy