为什么这很重要

一项服务可以达成所有技术目标,却仍让人们感到沮丧。系统在线,工单按时关闭,而一位员工那天早上却花了两个小时,想获得一个她需要的工具的访问权限。由系统数据构建的仪表板看不见这一点。它们统计的是机器记录的东西,而不是人过得怎么样。

体验分析填补了这个空白。它通过使用时刻的简短调查和较长的定期调查,直接询问人们。它阅读他们所写的内容:工单评论、调查答案、聊天消息。它观察他们如何使用服务,在哪里放弃一份表单,成功之前尝试了多少次。它把这些结合成一幅技术度量所遗漏的体验图景。主题 3.7 — 服务级别管理中介绍的体验级别协议(XLA)背后的理念,是在技术绩效目标之外,为体验设定目标。

这些方法也带来各自的风险。调查只能触及愿意回复的人。情感分析工具根据词语猜测感受,而且常常猜错,尤其是跨语言和跨文化时。分数变成目标,而目标会招致对受访者施压。员工数据引出隐私和信任方面的问题。本主题描述如何很好地收集和使用体验数据,对它能显示什么保持公平和谦逊。它与服务台(主题 3.1 — 服务台)、服务级别(主题 3.7 — 服务级别管理)、度量(主题 7.3 — 度量与报告)以及用 AI 阅读文本(主题 5.1 — 服务管理中的 AI)相联系。

核心概念

体验。 一个人在使用服务时所想、所感和所做,从首次接触到成果。维基百科描述了客户体验(customer experience)和用户体验(user experience)。对于内部服务,“客户”是同事,有时用“数字化员工体验”一词来指人们如何体验自己的技术。它包括是否轻松、速度、信任,以及是否达成了目标。

满意度及相关度量。 客户满意度(customer satisfaction,维基百科有描述)通常以“你有多满意?”这样的量表来询问。净推荐值(net promoter score,同样在该处描述)询问一个人推荐这项服务的可能性有多大,由推荐者所占份额减去贬损者所占份额算得。其他度量询问付出的努力,比如把事情办成有多容易。每一种都有用处,也有批评:它们快速而可比,但也粗糙,容易被钻空子和误读。

事务性调查与关系性调查。 事务性调查在一次交互之后不久询问这次交互,比如一张已解决的工单。关系性调查按间隔询问整体服务。事务性调查显示具体的问题;关系性调查显示更广阔的视图。两者都用,并保持简短。

调查设计。 措辞影响答案。维基百科描述了调查方法(survey methodology)和常见的问题:诱导性问题,暗示一个答案;顺从偏差,倾向于同意;以及社会期许偏差,给出似乎可被接受的答案。使用中立的措辞、清晰的量表、每个问题一个想法,以及一个开放的评论框。维基百科描述了李克特量表(Likert scales)和问卷。在几个人身上测试调查。参见本指南中的 survey-design 技能。

应答与偏差。 只有一部分人回答,而且他们不具代表性。维基百科描述了应答率和参与偏差(participation bias):感受强烈或有时间的人回复得更多。来自 10% 应答的分数,可能说明不了其余 90% 的情况。报告应答率,在可能时将应答者与总体作比较,并且不要把分数当作精确值。

调查疲劳。 被问得太频繁的人会不再回答,或草率作答。限制询问的频率,只问你会用的,并展示因答案而发生了什么变化。消失在虚空中的调查教会人们不必费心。

自由文本反馈。 评论告诉你为什么。阅读一批样本是必不可少的,工具可以帮助处理数量。维基百科描述了主题分析(thematic analysis),即在定性数据中识别主题的做法,以及更广泛的定性研究。统计主题并引用例子,使评论变得可用。

情感分析。 把文本分类为积极、消极或中性,或按情绪分类的软件。维基百科描述了情感分析(sentiment analysis)及其方法。它对大量文本的粗略分诊很有用。它对讽刺、复杂的情感、领域术语(“critical”可能是优先级,而不是情绪)以及语言和方言的差异束手无策。对照由人阅读的样本检查它的标签,并且不要把结果当作任何个人的感受。维基百科还描述了情绪识别(emotion recognition),它引出严重的可靠性和伦理关切,尤其是应用于面孔或声音时;使用这类方法之前,要谨慎并征求意见。

主题发现。 自然语言处理技术,包括维基百科描述的主题模型(topic models),可以按主题对评论分组。它们有助于在数千条评论中发现主题,并由人来命名和检查这些分组。

行为与使用信号。 人们所做的往往与他们所说的不同。放弃的表单、重复的搜索、重试,以及自助服务尝试之后的联系,都显示出摩擦。维基百科描述了可用性测试(usability testing),人们尝试现实的任务,观察者记录困难。少数几次被观察的会话,常常能发现任何调查都揭示不了的问题。

定性方法。 访谈和焦点小组(维基百科有描述)带来深度。与真实用户进行少量交谈,可能比一次大规模调查更能改变优先级。选择在角色、技能和地点上各异的人。

体验级别协议。 为体验度量设定目标的协议,比如“至少 80% 的用户说这项服务帮助他们完成了工作”。最好把它们用作共同的目标和对话,配合多项度量,而不是与罚则挂钩的单一数字,因为体验分数很容易被扭曲。见主题 3.7 — 服务级别管理。

客户之声。 捕捉客户所说的话并采取行动的实践。维基百科描述了客户之声(voice of the customer)。它汇集调查、评论、支持联系、评价和交谈,并把洞察转达给能采取行动的人。

员工福祉与工作负荷。 分析还可以关注交付服务的员工的体验:工作负荷、值班负担和士气。维基百科描述了员工敬业度和职业倦怠(occupational burnout)。在征得同意并谨慎处理的前提下,在团队层面度量,并对所发现的采取行动。

伦理、隐私与同意。 收集和分析反馈涉及个人数据,有时还涉及敏感的意见。维基百科描述了隐私(privacy)、匿名和知情同意。说明你收集什么以及为什么,在重要的地方允许匿名,在报告之前汇总,并且没有充分理由不要根据评论识别个人。监控员工在工作中的行为或情绪,维基百科在员工监控(employee monitoring)下有描述,可能损害信任,并可能受到法律限制;请征求法律意见。见主题 5.6 — AI 治理、风险与合规。

闭环。 告诉人们你听到了什么、改变了什么。对提出严重问题的人跟进。没有可见的回应,参与度就会下降。

这些视角如何契合。 体验分析给出其他三个视角力求改善的人的成果。敏捷实践开展小实验,并询问用户是否有帮助。AI 在审查下帮助阅读和分组文本。自动化触发调查并路由反馈。

最佳实践

  1. 询问成果,而不只是满意度。 包括类似“你得到所需要的了吗?”的问题和一个关于付出努力的问题。把分数与一个自由文本的“是什么妨碍了你?”配对。
  2. 让调查简短而及时。 交互之后不久询问一到三个问题,并每年做几次简短的关系性调查。不要就同一件事反复询问人们。
  3. 编写中立的问题并加以测试。 避免诱导性措辞、双重问题和行话。上线之前在来自不同群体的几个人身上试一试。
  4. 报告应答率以及谁回答了。 显示有多少人回复,尽可能与总体作比较,并描述局限。避免虚假的精确。
  5. 阅读评论。 每周抽样阅读,在报告中引用,并将它们归为主题。在规模上使用工具,并有人工评审。
  6. 对照人来检查情感工具。 让人给一批样本打标签,与工具比较,并记下它在哪里失败。把工具用于分诊,而不是用于就个人得出结论。
  7. 既看行为也看言语。 查看放弃、重试和重复联系,并用真实任务开展几次可用性会话。把人们所做的与所说的作比较。
  8. 把 XLA 用作共同的目标。 与客户商定一小组体验度量,一起评审,避免与罚则或个人绩效挂钩。
  9. 保护人。 说明你收集什么,汇总结果,避免识别个人,并在监控员工情绪之前征求意见。绝不要用体验数据给个人排名。
  10. 可见地闭环。 发布“你说了,我们做了”的总结,并跟进严重的问题。淘汰不会导致行动的问题。

与团队讨论的问题

关于人们如何体验我们的服务,我们知道什么是我们的技术度量没有显示的? 列出近期的投诉或评论。预期与仪表板不符。追问:选择一个方面,比如获得访问权限的时间,并增加一个关于它的体验问题。

谁回答我们的调查?谁从不回答? 把应答者与总体作比较。预期夜班员工或偏远站点等群体缺失。追问:用另一种方式,比如简短的访谈,触达一个缺失的群体。

上个季度我们因用户的反馈改变了什么?他们知道吗? 索要例子。预期很少。追问:商定定期的“你说了,我们做了”消息。

当人阅读同一批评论的样本时,我们的情感工具有多准确? 测试它。预期在讽刺和领域术语上会出错。追问:商定工具可以用在哪里、不可以用在哪里。

我们的哪些体验度量可以在不改善体验的情况下被推高? 想想对受访者的压力、选择性的调查,或在询问之前就关闭工单。追问:商定一条禁止影响答案的规则,并检查调查是如何发送的。

我们会收集哪些关于员工体验的信息?我们如何确保它被用来帮助而不是监控? 讨论同意、汇总和目的。预期会有强烈的看法。追问:商定一份使用声明,并让员工代表参与并获取法律意见。

实践:一个服务管理示例

一个国家图书馆网络的 IT 团队支持 300 个分馆的 6,000 名员工。技术度量显示良好的绩效:可用性超过 99.5%,92% 的工单在目标之内解决。然而一项年度员工调查说,“IT 支持”是评分最低的服务,分馆馆长说 IT 不了解他们的工作。

服务经理从一份简短的事务性调查开始,在工单解决时自动发送:两个问题(“我们解决了你的问题吗?”和“获得帮助有多容易?”)和一个可选的评论。应答率为 18%。她把应答者与员工总体作比较,发现大型分馆的比例过高,而小型偏远分馆几乎不出现。她增加了每月一次对随机选出的五个小型分馆的电话,并开展了三次可用性会话,让员工尝试申请新的登录账号并预订会议室显示屏。

数字显示,84% 的人说问题得到了解决,但只有 55% 的人说获得帮助很容易。两位分析师按主题对评论分组,结果显示最常见的抱怨是必须向每个人重新解释问题:占评论的 31%。一款情感工具,对照 200 条手工标注的评论测试,约四分之一的标签是错的,包括许多把“urgent”或“critical”用作描述性词语的评论,所以团队只把它用来为阅读而对评论排序。可用性会话发现,申请表单要求填写资产标签,而大多数员工并不知道。

团队修改了表单,创建了一份在坐席之间跟随工单的可见历史,并发布了每月一次的变更说明。他们与分馆馆长商定了一项体验级别目标:75% 的员工说获得帮助很容易,每季度评审,并附上评论和应答率。经理告诉团队,分数不会被用于个人评价。

变化在于:轻松度分数在两个季度中升至 68%,“重新解释”降至评论的 15%。仍然困难的是:最小的分馆的应答率仍然很低;一些坐席担心,尽管有声明,分数仍会被用来对付他们;一家供应商提供了一款用于电话的情绪检测工具,经理在法务和员工代表评审之前拒绝了。她计划扩大电话抽样。

四种视角

产品与交付团队

询问用户你们的功能带来的成果,观察几次真实的会话,并对放弃之类的摩擦点进行插桩。把你所学到的与服务团队分享。

服务与运维团队

阅读评论,告诉客户改变了什么,并利用体验数据看出流程在哪里让人沮丧。不要钻分数的空子,也不要要求人们给你好评。

领导层与治理

索要带有应答率和评论的体验度量。为定性工作和跟进出资。不要用体验分数给个人排名或奖励。就隐私和员工监控征求意见。

客户与用户

你应当被问到什么对你重要,在适当的地方能够匿名发言,并听到改变了什么。告诉提供者调查在哪里遗漏了你的体验,并在评论中给出例子。

敏捷、AI、自动化与分析

敏捷

对体验开展小实验,比如修改一份表单,并问几位用户是否有帮助。让用户参与设计。注意:不断更改调查会破坏可比性;保持稳定的核心,节制地增加问题。

AI

AI 可以对评论分组、总结主题并起草“你说了,我们做了”的说明,由人对照原文检查。指定负责人。注意:AI 的情感和情绪检测可能出错,并在不同群体和语言之间有失公平;在标注的样本上测试,避免用于个人。见主题 5.6 — AI 治理、风险与合规。

自动化

自动化调查的触发、把严重评论路由给真人,以及跟进提醒。注意:只在好结果之后发送的自动化调查会抬高分数;一致地触发它们。见主题 6.2 — 工作流自动化与编排。

分析

把分数、应答率、主题、行为信号和技术数据结合起来。注意:分数有噪音,受谁回答以及问题如何措辞的影响;使用趋势,报告不确定性,并阅读评论。见主题 7.3 — 度量与报告和《服务管理度量》一书。

常见失败模式

  • 只有技术度量。 仪表板是绿色,用户却不满。增加体验度量和评论。
  • 忽视调查偏差。 声音最大的人回复。报告应答率并触达缺失的群体。
  • 诱导性问题。 答案被扭曲。使用中立措辞并测试。
  • 相信情感分数。 工具会贴错标签。对照人的阅读检查,并用于分诊。
  • 把分数当作目标。 人们对受访者施压。把 XLA 用作共同的目标,并配合多项度量。
  • 调查疲劳。 应答下降。少问,并展示发生了什么变化。
  • 监控人员。 信任和合法性受损。汇总、征求同意并征求意见。

成熟度模型

维度 起步 发展 标准化 管理 协同
收集 年度调查 事务性调查 带评论的简短事务性和关系性调查 检查应答和偏差,触达缺失的群体 整合来自多个渠道的反馈
分析 只有分数 手工阅读主题 带样本的主题,工具对照人来检查 体验与行为和技术数据挂钩 体验洞察驱动跨服务的规划
使用 报告 一些行动 跟踪行动并发布“你说了,我们做了” 与客户一起评审体验目标 体验协议在合作伙伴之间共享
伦理 不清楚 有意识 目的、匿名和汇总规则 与员工和顾问一起评审做法 隐私内建于收集和分析

检查清单

  • 我们度量成果和付出的努力,而不只是满意度。
  • 调查简短、中立并经过测试。
  • 我们报告应答率以及缺失了谁。
  • 我们每周阅读评论并将其归为主题。
  • 情感工具对照人工标签检查,并仅用于分诊。
  • 我们观察真实使用,而不只是询问。
  • 我们把体验目标用作共同的目标,而不是个人度量。
  • 我们发布因反馈而改变了什么。

AI 提示词

将评论归为主题以供评审。

这是用户的自由文本评论,已去除个人细节:[粘贴]。
请将它们分为最多八个主题,为每个主题给出数量,并为每个主题原文引用两条简短的评论。列出不适合任何主题的评论。不要评定情感,也不要猜测是谁写的。
请列出你不确定的事项。

评审调查问题。

这是一份调查草稿:[粘贴]。
请列出诱导性的、双重含义的、不清楚的,或可能产生有偏答案的问题,引用每一条,并建议中立的改写。不要增加问题。
请列出你不确定的事项。

测试情感工具。

这是 40 条评论,每条附有人工标签和工具的标签:[粘贴]。
请计算一致和不一致的数量及所占份额,列出标签不一致的评论,并说明它们有什么共同点。除这批样本之外,不要就该工具得出任何结论。
请列出你不确定的事项。

AI 技能

主要来源

  • Don Dillman、Jolene Smyth 和 Leah Christian,Internet, Phone, Mail, and Mixed-Mode Surveys(第 4 版,2014):调查设计的标准指南。
  • Jakob Nielsen,可用性研究(nngroup.com):关于小样本可用性测试的实用证据。
  • 配套的《服务管理度量》一书:体验度量的定义和护栏。
  • Wikipedia, "Customer satisfaction" 和 "Sentiment analysis":对主要理念的概述。

参考文献

  1. Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction
  2. Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
  3. Customer experience — Wikipedia — https://en.wikipedia.org/wiki/Customer_experience
  4. User experience — Wikipedia — https://en.wikipedia.org/wiki/User_experience
  5. Survey methodology — Wikipedia — https://en.wikipedia.org/wiki/Survey_methodology
  6. Participation bias — Wikipedia — https://en.wikipedia.org/wiki/Participation_bias
  7. Sentiment analysis — Wikipedia — https://en.wikipedia.org/wiki/Sentiment_analysis
  8. Thematic analysis — Wikipedia — https://en.wikipedia.org/wiki/Thematic_analysis
  9. Usability testing — Wikipedia — https://en.wikipedia.org/wiki/Usability_testing
  10. Voice of the customer — Wikipedia — https://en.wikipedia.org/wiki/Voice_of_the_customer
  11. Employee monitoring — Wikipedia — https://en.wikipedia.org/wiki/Employee_monitoring
  12. Privacy — Wikipedia — https://en.wikipedia.org/wiki/Privacy