为什么这很重要

服务台长期以来一直希望更快、更便宜地回答简单问题。聊天机器人是第一次尝试:脚本化的菜单令用户沮丧。基于大语言模型构建的较新助手要流畅得多,能以通俗语言处理开放式问题。这使它们有用得多,但出错时造成伤害的能力也大得多,因为它们的错误回答听起来是对的。

对用户来说,虚拟代理可以是在任何时刻快速获得答案的途径。对服务台员工来说,AI 分诊和起草可以接手分类和写作,使他们把时间花在更难的案例上。对组织来说,两者都能降低每次联系的成本。这些好处是真实的,它们取决于助手被用于合适的问题、保持准确,并且不会困住需要真人的人。

风险有着人的面孔。一位在截止日期前被锁在系统之外的用户,一位需要快速修复的面向患者的护士,或一个心烦意乱却得到一段欢快脚本的人:每个人都被一个无法识别何时该转交的助手所辜负。本主题描述虚拟代理和 AI 分诊适合的位置、如何设计和测试它们,以及如何诚实地度量它们。它建立在服务台(主题 3.1 — 服务台)、服务请求(主题 3.6 — 服务请求管理)和知识(主题 3.9 — 知识管理)之上,并依赖主题 5.1 — 服务管理中的 AI 和主题 5.6 — AI 治理、风险与合规中的理念。

核心概念

虚拟代理。 通过文字或语音与用户交谈,以回答问题或执行任务的软件。维基百科关于聊天机器人(chatbot)和虚拟助手(virtual assistant)的文章对它们有描述。在服务台,虚拟代理往往是第一个联络点,并有一条通往真人的路径。

基于规则与基于 AI。 早期的聊天机器人遵循脚本或匹配关键词。基于 AI 的助手能解释自然语言并组织答案。维基百科描述了对话式用户界面(conversational user interface)和自然语言理解。脚本是可预测而有限的;语言模型是灵活而较不可预测的。许多生产系统将二者结合:敏感任务用脚本化流程,开放式问题用语言模型。

意图与流程。 意图是用户想做的事,比如“重置我的密码”或“订购一台笔记本电脑”。许多助手识别意图,然后运行带有检查的既定流程,这对于行动更为安全。对于开放式问题,助手检索相关文章并据此作答。

立足于来源(grounding)。 依据指定的、经评审的来源,通常是知识文章,并展示它们,而不是依据模型的一般记忆作答。维基百科描述了检索增强生成(retrieval-augmented generation)。立足于来源可以减少编造的回答,但不能消除,并且使知识库的质量成为助手质量的上限。见主题 3.9 — 知识管理。

分流与解决。 分流意味着用户从助手那里得到了答案,没有联系真人。解决意味着用户的问题确实被解决了。两者不同:放弃并去别处的用户是被分流了,而不是被解决了。通过后续跟进、重复联系和反馈来度量解决。

转交(handover)。 当助手无法提供帮助,或用户提出要求时,带着上下文把对话交给真人。维基百科描述了一般意义上的转交(handover)。好的转交会带上历史,使用户不必重复自己的话。糟糕的转交则把他们丢进队列。让“联系真人”始终可见。

分诊与路由。 AI 按类型、紧急程度和团队对到来的工单分类并路由。维基百科描述了分诊(triage)。它还能从一阵类似的联系中检测出可能的重大事件。错误会把工作送入错误的队列;重新路由的比例是一个很好的度量。

为坐席起草与总结。 AI 可以总结冗长的工单线程、建议文章,并起草回复供坐席编辑。这既让人保持控制,又节省时间。见主题 5.4 — 面向事件、知识与变更的生成式 AI。

情绪与紧急程度检测。 从文本推断用户情绪或紧急程度的技术。维基百科描述了情感分析(sentiment analysis)。它可以对心烦意乱的用户或提到截止日期的消息优先处理。它并不完美,尤其在跨语言和跨文化时,所以把它当作提示。

语音与多语言支持。 语音识别和语音合成允许语音交互;机器翻译允许以更多语言提供支持。维基百科描述了这些技术。质量因语言和口音而异,使用较少见语言的用户可能得到较差的服务。要用真实的说话者来测试。

无障碍与包容。 助手必须适用于残障人士和对技术没有信心的人。维基百科描述了无障碍(accessibility)和《网页内容无障碍指南》(WCAG)。屏幕阅读器无法使用的聊天窗口会把用户排除在外。维基百科也描述的数字鸿沟提醒我们,并非每个人都偏好或能够使用聊天。

身份与授权。 能执行动作,比如重置密码的助手,必须核实提问者是谁。绝不要让助手仅凭一句声明就授予访问权限。见主题 3.6 — 服务请求管理和主题 3.13 — 信息安全管理。

对机器身份的诚实。 用户应当知道自己在和 AI 交谈,助手不应假装是人,或假装拥有它所没有的情感。一些法律要求披露;请核实适用于你的规定。维基百科关于黑暗模式(dark pattern)的文章描述了欺骗用户的设计做法,比如隐藏通往真人的路径;应当避免。

助手的安全。 助手面临诸如提示注入之类的攻击,即消息或文档中的文本试图推翻助手的指令。维基百科描述了提示注入(prompt injection)。不要赋予助手可能被恶意消息滥用的权力,并把用户输入和检索到的文档视为不可信。

隐私。 对话可能包含个人数据。决定存储什么、存储多久、谁可以阅读,以及是否用于训练任何模型。维基百科描述了个人数据和作为一种法律框架的《通用数据保护条例》。请征求法律意见。

这些视角如何契合。 虚拟代理是 AI、自动化和分析在服务台上的可见面孔。敏捷实践建议从少数几个话题开始,再逐步扩大。自动化在对话背后完成任务。分析告诉你用户问了什么,以及助手在哪里失败。

最佳实践

  1. 选择助手能做好的话题。 从频繁、简单、低风险且答案明确的问题开始,比如如何连接无线网络。起初避免敏感或高风险的话题。
  2. 让回答立足于经评审的文章。 使用来自知识库的检索并展示来源。如果没有来源支持某个回答,助手应当说明这一点并提供真人。
  3. 让通往真人的路径显而易见。 始终显示清晰的“联系真人”选项,并附带对话进行转交。绝不要阻止它。
  4. 对行动核实身份。 对任何改变访问权限或数据的事情,使用聊天之外的强检查,并限制助手能做什么。记录每一次行动。
  5. 告诉用户它是 AI。 在开始时说明这一点,说明它能帮什么、不能帮什么,避免假装是人。
  6. 建立测试集并运行。 根据真实工单创建现实的问题,包括助手应当拒绝的问题和试图操纵它的问题。在上线前以及每次变更之后运行这套测试集。
  7. 阅读真实的对话。 每周评审一批对话样本,尤其是用户离开或要求真人的那些。用它们来修复文章、流程和指令。
  8. 度量解决,而不仅仅是分流。 跟踪后续联系、用户评分、转交和投诉。与基线作比较。
  9. 包容每一个人。 用屏幕阅读器以及不同的语言和口音进行测试。保留其他渠道,如电话和电子邮件。
  10. 把它当作服务来拥有。 指定负责人、预算、改进的日程,以及底层模型或供应商变化时的预案。

与团队讨论的问题

用户问得最多的问题是什么?其中哪些可以由助手依据我们现有的文章可靠地回答? 使用工单数据。预期会有一份简短的重复性问题清单。检查文章的准确性和完整性。追问:选出五个问题用于首次试用。

助手绝不应该做什么或说什么?我们将如何测试? 列出界限:未经核实不得更改访问权限,不就法律或医疗事项提供建议,不对时间作出承诺。预期在边缘问题上会有分歧。追问:把每条界限变成一项测试。

当用户感到沮丧或要求真人时,会发生什么?需要多长时间? 亲自试一试。预期在上下文和延迟方面会有缺口。追问:商定一个最长时间和一种标准的转交格式。

我们怎么知道用户得到了他们所需要的答案,而不只是他们停止了聊天? 索要度量。预期会听到“分流率”。追问:商定一个后续问题、一次重复联系的检查,以及一次样本评审。

谁可以使用这个助手?它可能辜负谁? 想一想残障人士、语言差异或缺乏信心的人。预期有些群体没有被考虑到。追问:与来自这些群体的几位真实用户一起测试。

对话包含什么数据?数据流向哪里?谁可以阅读? 走一遍数据流。预期在供应商和保留方面会有意外。追问:写下数据流,并请隐私官评审。

实践:一个服务管理示例

一家区域卫生服务机构的 IT 服务台支持约 12,000 名临床和行政员工。来电在换班时达到高峰,那时临床医生需要登录和打印,平均等待时间为九分钟。服务经理提议在员工门户和一个消息渠道中设置虚拟代理。

团队从窄处开始。他们从六个月的工单中取出 15 个最常见的“我该如何……”问题,与临床用户一起评审相应的文章,并重写了其中八篇不清楚的。助手只依据这些文章作答。对于密码重置,它不自行动作;它链接到身份系统的重置流程,该流程使用自己的核实。一条横幅说明它是 AI 助手,一个“联系真人”按钮把对话连同摘要一起转交给服务台坐席。

上线之前,团队建立了 80 个测试问题,其中包括这 15 个之外的话题,比如临床建议,助手必须拒绝回答,还有试图让它透露其指令的尝试。第一个版本未通过九项测试,大多是回答了范围之外的问题。团队收紧了指令,并增加了一条规则:任何无法匹配的内容都转给真人。第一个月,助手处理了约 1,400 次对话;约 40% 无需工单就结束,12% 被转给坐席。经理每周阅读 100 次对话。她发现用户经常询问一个最近改动的登录界面,而文章尚未对此描述,于是团队更新了它们。

变化在于:高峰时的等待时间下降,坐席花在重复问题上的时间减少。仍然困难的是:一些病房的夜班员工网络连接不佳,仍然打电话;助手在许多员工所使用的两种语言的问题上表现吃力,团队尚未找到足够的测试方法;供应商的定价随对话量增长。经理增加了翻译过的文章和每季度一次的成本评审。

四种视角

产品与交付团队

为你的变更提供清晰的文章和发布说明,因为助手只能回答已经写下来的内容。构建助手可以安全调用的流程,并带有它们自己的身份检查。

服务与运维团队

拥有助手的质量:阅读对话,修复文章,并改进流程。妥善处理转交,并向产品和服务负责人报告规律。

领导层与治理

设定界限,为知识工作和测试出资,并要求提供解决的度量,而不只是分流。确保始终有一条通往真人的路径。检查数据和法律问题。

客户与用户

你应当知道自己在和 AI 交谈,能够随时转接真人,并且不必重复自己的话。当回答有误或没有帮助时,告诉提供者。

敏捷、AI、自动化与分析

敏捷

从少数几个话题开始,经常发布,从真实的对话中学习,并分步扩大。让用户和坐席参与评审要增加什么。注意:未经测试就快速增加许多话题,会使错误回答成倍增加;以小而经过测试的批次增加。

AI

助手需要负责人、测试集、立足于来源的回答和抽样评审。决定 AI 可以说什么、做什么,以及哪里必须由人来决定。注意:为通过测试而调整指令可能使助手变得脆弱;用新的真实问题更新测试集。见主题 5.1 — 服务管理中的 AI。

自动化

把助手连接到针对常规请求的既定流程,带有核实、日志和限制,使它触发动作而不是即兴发挥。注意:能对一条有说服力的消息采取行动的助手是攻击目标;保持权力狭窄,并在带外核实身份。见主题 6.5 — 自助服务与自动化履行。

分析

查看被问到、被回答、被拒绝、被转交和被放弃的问题、用户评分、重复联系,以及每次已解决联系的成本。注意:高分流率可能意味着用户放弃了,评分则来自一小部分自我选择的人;要与抽样的对话结合起来。见主题 7.7 — 体验与情感分析和《服务管理度量》一书。

常见失败模式

  • 无路可退。 用户和机器人兜圈子。始终提供真人,并附带上下文。
  • 凭记忆作答。 模型编造步骤。立足于经评审的文章,不确定时拒绝回答。
  • 把分流当作成功。 用户没有得到帮助就离开了。度量解决和重复联系。
  • 未经核实的行动。 凭一句声明就授予访问权限。在带外核实并记录。
  • 隐藏的机器人。 用户以为自己在和真人交谈。说明它是 AI。
  • 被排除的用户。 屏幕阅读器或语言失败。与真实用户一起测试,并保留其他渠道。
  • 知识过时。 助手引用旧文章。把更新与变更联系起来,并评审样本。

成熟度模型

维度 起步 发展 标准化 管理 协同
范围与设计 供应商提供的任何东西 少数几个话题 已定义的话题、界限和流程 依据对话数据调整范围 范围在各职能和渠道之间协调
来源立足与知识 模型记忆 一些文章 展示来源的经评审文章 根据对话更新知识 知识和助手共同持续改进
转交与包容 隐藏或糟糕 有转交 带上下文的可见转交,并测试过无障碍 度量转交与包容 体验在各渠道、语言和能力之间保持一致
度量 仅数量 分流 解决、重复联系和评分 定期评审样本和趋势 成果与跨服务的成本和体验挂钩

检查清单

  • 我们为助手选择了一小批合适的话题。
  • 回答立足于经评审的文章,并显示来源。
  • 可见的“联系真人”选项带着上下文进行转交。
  • 任何行动的身份都在聊天之外核实。
  • 用户被告知它是 AI。
  • 我们有测试集,并在每次变更前后运行。
  • 我们每周阅读一批对话样本。
  • 我们测试了无障碍以及用户所使用的语言。

AI 提示词

根据工单起草测试问题。

这是过去一个月经过匿名化的工单标题和摘要:[粘贴]。我们的助手被允许回答这些话题:[列表]。
请根据这些工单写出 40 个测试问题:25 个在话题之内,10 个在话题之外、助手应当拒绝的,5 个试图让它无视其规则的。说明每一个的正确行为。不要包含真实的个人数据。
请列出你不确定的事项。

评审对话中的失败模式。

这是用户要求真人或在没有得到帮助的情况下离开的对话记录,已去除个人数据:[粘贴]。
请把它们分为最多六种模式,统计每种的数量,引用一个简短的例子,并列出一个可供调查的可能的修复。不要责备用户。
请列出你不确定的事项。

撰写供评审的助手指令。

我们的助手帮助 [组织类型] 的员工处理 [话题]。它绝不能:[列表]。它必须始终:[列表,例如提供真人并引用来源]。
请为助手起草一份不超过 250 字的通俗语言指令,包括它不知道时应说什么。不要编造能力或来源。
请列出你不确定的事项。

AI 技能

主要来源

  • W3C, Web Content Accessibility Guidelines (WCAG):无障碍网页内容的国际标准,与聊天界面相关。
  • NIST, AI Risk Management Framework:识别和管理 AI 风险的结构。
  • Wikipedia, "Chatbot" 和 "Virtual assistant":对这些技术的概述。
  • Wikipedia, "Prompt injection":关于一项主要安全风险的背景。

参考文献

  1. Chatbot — Wikipedia — https://en.wikipedia.org/wiki/Chatbot
  2. Virtual assistant — Wikipedia — https://en.wikipedia.org/wiki/Virtual_assistant
  3. Conversational user interface — Wikipedia — https://en.wikipedia.org/wiki/Conversational_user_interface
  4. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  5. Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
  6. Sentiment analysis — Wikipedia — https://en.wikipedia.org/wiki/Sentiment_analysis
  7. Accessibility — Wikipedia — https://en.wikipedia.org/wiki/Accessibility
  8. Web Content Accessibility Guidelines — Wikipedia — https://en.wikipedia.org/wiki/Web_Content_Accessibility_Guidelines
  9. Dark pattern — Wikipedia — https://en.wikipedia.org/wiki/Dark_pattern
  10. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  11. Web Content Accessibility Guidelines (WCAG) overview — W3C — https://www.w3.org/WAI/standards-guidelines/wcag/