服务管理中的 AI
人工智能进入服务管理的场所有服务台、运维、知识、变更和决策支持;请把每一种用法都当作一项服务,有负责人,在可能造成伤害之处由人来决定,有发现错误的办法,并有衡量其是否有帮助的度量。
为什么这很重要
AI 已经从研究课题变成了服务团队已在使用的工具的一项功能。工单系统建议分类。监控平台将告警分组。对话助手回答员工的问题。代码编辑器起草脚本。其中一些是由供应商打开的,团队里没有人决定采用它们。
潜力是真实的。许多服务工作就是阅读、写作、分类和搜索,而当前的 AI 对这些任务已经做得足够好,能够节省时间。风险同样真实。AI 系统会产生流畅却可能出错的回答,可能隐藏它得出结论的过程,可能泄露数据,还可能以难以预料的方式失败。一个在没有所有权、评审和度量的情况下采用 AI 的团队,承担了这些风险,却没有得到好处。
本主题是本指南 AI 部分的地图。它解释服务工作中 AI 的主要类型、它们在哪里有帮助、在哪里没有,以及采用之前该问什么。后续主题进一步深入:运维(主题 5.2 — AIOps)、服务台(主题 5.3 — AI 服务台与虚拟代理)、生成式 AI(主题 5.4 — 面向事件、知识与变更的生成式 AI)、会采取行动的代理(主题 5.5 — 代理式 AI 与人工监督)、治理(主题 5.6 — AI 治理、风险与合规)、提示词和技能(主题 5.7 — AI 技能与提示词)以及运作模型(主题 5.8 — AI 运作模型与能力)。所有者对最新 ITIL 版本的描述把 AI 列为服务管理必须应对的环境的一部分(见主题 1.3 — ITIL 5)。
核心概念
人工智能。 一个宽泛的术语,指执行通常需要人类智能的任务的系统,比如识别模式、理解语言和提出建议。维基百科关于人工智能(artificial intelligence)的文章描述了这一领域及其历史。这个术语涵盖许多不同的技术,人们所说的“AI”也各不相同。在讨论某种用法时,要指明技术和任务。
机器学习。 从数据中学习模式,而不是遵循明确规则的系统。维基百科描述了机器学习(machine learning)及其分支。服务工作中的例子包括对工单分类、检测异常指标和预测故障。它们依赖训练数据,并可能在条件变化时退化,维基百科把这一问题描述为概念漂移(concept drift)。
生成式 AI 与大语言模型。 根据提示词生成新内容,如文本、代码或图像的系统。大语言模型(LLM)是用大量文本训练的,能够总结、起草、翻译和回答问题。维基百科描述了生成式 AI(generative AI)和大语言模型(large language models)。它们的输出流畅,却不保证真实。
幻觉。 看似合理却是虚假或没有依据的输出。维基百科描述了 AI 中的幻觉(hallucination)。在服务工作中,它可能意味着一条编造的命令、一项虚构的政策,或一个自信却错误的根本原因。要预先考虑:让回答立足于来源,显示来源,并在行动之前核对。
检索增强生成。 一种模式,系统先检索相关文档,比如知识文章,再要求模型只依据这些文档作答。维基百科描述了这种方法(retrieval-augmented generation)。它减少但不能消除错误的回答,并且取决于文档的质量。见主题 3.9 — 知识管理。
代理。 不仅回答、还采取行动的系统:调用工具、更改记录、运行脚本。维基百科描述了一般意义上的智能代理(intelligent agents)。代理提高了风险,因为错误会在现实世界中产生影响。见主题 5.5 — 代理式 AI 与人工监督。
AI 在服务管理中何处有帮助。 典型的用法分为五组:
| 领域 | 例子 | 主要注意事项 |
|---|---|---|
| 服务台 | 对工单分类和路由,起草回复,回答常见问题 | 给用户错误或编造的回答 |
| 运维 | 将告警分组,发现异常,建议原因 | 隐藏的遗漏信号 |
| 知识 | 搜索、总结并起草文章 | 草稿传播错误 |
| 变更与交付 | 起草代码和测试,评估变更风险,撰写发布说明 | 不安全或错误的代码、被过度信任的风险评分 |
| 决策支持 | 总结数据,预测需求,发现规律 | 基于薄弱数据的过度自信的结论 |
人在回路(human in the loop)。 在 AI 的输出或行动生效之前,由人审查或批准。维基百科描述了人在回路系统(human-in-the-loop)。这是一种控制措施,只有当这个人有时间、有信息、有权力说不时才有效。维基百科还描述了自动化偏差(automation bias),即过度依赖自动化建议的倾向,它能把人的检查变成走过场。
可解释性。 能够说明系统为何产生某个输出。维基百科描述了可解释 AI(explainable AI)。对某些用法,比如给工单排序,粗略的理由就够了;对另一些,比如影响某人访问权限或薪酬的决定,则需要更多。要决定每种用法需要多少解释。
偏见与公平。 用过去数据训练的 AI 可能复制过去的模式,包括不公平的模式。维基百科描述了算法偏见(algorithmic bias)。在服务工作中,偏见可能出现在谁得到更快的帮助、谁的请求被标记,或系统对谁的语言理解得更好。
数据与隐私。 AI 工具处理你给它们的数据,比如含有个人信息的工单文本。数据去向何处、保留多久,以及是否用来训练其他模型,是核心问题。见主题 5.6 — AI 治理、风险与合规。
安全风险。 AI 系统有其自身的弱点,比如提示注入,即文档或消息中的文本试图给模型新的指令。维基百科描述了提示注入(prompt injection)。把来自外部的输入视为不可信。
生命周期与运维。 使用中的模型需要监控、再训练或更换、版本管理和退役。维基百科描述的 MLOps 把工程纪律应用于此。对供应商的模型,你仍需跟踪更新之后行为的变化。
治理框架。 维基百科描述的欧盟《人工智能法案》(Artificial Intelligence Act)规定了取决于风险类别的法律义务。ISO/IEC 42001 规定了人工智能管理体系,美国国家标准与技术研究院则发布了 AI 风险管理框架。这些是治理的词汇和结构;它们不能替代法律建议。
这些视角如何契合。 AI 是四个视角之一。敏捷实践建议与真实用户一起进行小规模试用,并获得简短的反馈。自动化是最近的邻居:AI 决定或建议,自动化执行。分析提供 AI 所学习的数据,以及显示它是否有帮助的度量。
最佳实践
- 从问题而不是工具出发。 指出一个具体的痛点,比如花在分类工单上的时间,以及一个改进的度量。然后问 AI 是否是正确的答案,还是更简单的修复就够了。
- 保留一份 AI 用法的清单。 列出所使用的每一项 AI 功能和工具,包括供应商功能和员工用于工作的个人工具。记录目的、数据、负责人和状态。
- 为每种用法指定负责人。 一个人对 AI 做什么、使用什么数据以及出错时会发生什么负责。没有负责人,就没人会注意到退化。
- 决定人在哪里作决定。 对每种用法,写明 AI 可以独自做什么、什么需要评审、什么绝不能做。让评审成为真实的:给评审者时间和背景信息。
- 让回答立足于你自己的来源。 使用来自已评审知识的检索,向用户展示来源,并在没有来源支持某个回答时明确说明。
- 上线前后都要测试。 建立一套带有已知答案的、现实的测试用例,包括刁钻的和对抗性的。在发布之前以及模型或数据每次变更之后运行。
- 度量价值和错误。 跟踪节省的时间、输出的质量、人工的更正、用户投诉和成本。定期抽查输出。
- 保护数据。 决定哪些数据可以发送给哪些工具,尽可能去除个人和敏感信息,并核查合同中关于保留和训练使用的条款。
- 为失败做规划。 让关闭某项 AI 功能、转接给真人以及恢复变得容易。演练你所依赖的某个 AI 服务失效的情形。
- 培养技能并分享学习。 培训人们善用 AI,也善于质疑它。在团队之间分享行之有效和失败的经验。见主题 5.7 — AI 技能与提示词。
与团队讨论的问题
我们已经在哪里使用了 AI,包括我们没有选择的功能和人们自行使用的工具? 询问每个人,并检查供应商设置。预期清单会比任何人预料的更长。追问:记录每种用法并指定负责人。
我们的哪些任务主要是阅读、写作和分类?哪些是我们不希望由机器决定的? 这个问题按适合程度对任务分类。预期在起草方面意见一致,在决策方面有分歧。追问:选择一项低风险的任务进行试用。
如果我们的 AI 助手对用户给出自信的错误回答,我们会怎么做?我们如何发现? 走一遍这个场景。预期在检测方面有缺口。追问:商定抽查输出和收集用户反馈的办法。
我们向 AI 工具发送什么数据?我们读过条款吗? 列出这些工具和数据。预期会有条款不明的个人账户。追问:商定一条关于哪些内容不得粘贴到外部工具中的规则。
我们怎么知道一种 AI 用法值得其成本? 询问一项收益的度量和一项损害的度量。预期会听到“感觉更快了”。追问:选择一种用法,商定前后对比的度量。
我们的人员需要什么技能才能善用 AI?谁来教他们? 想想写好提示词、检查回答和察觉局限。预期信心的差异很大。追问:规划一次以真实任务为内容的简短练习课。
实践:一个服务管理示例
一家国家公共图书馆网络的 IT 团队支持 200 个分馆和约 6,000 名员工。服务台处理大量关于打印、登录和借阅系统的重复性问题。服务主管想用 AI 减少队列,而工单系统的供应商刚刚增加了一个 AI 助手,默认对面向员工的对话开启。
服务经理首先列出 AI 的用法。除了供应商的助手,她还发现有两名分析师使用公共对话工具总结工单,还有一名开发人员编写了一个起草回复的脚本。她为每一项指定了负责人,并设定了一条规则:不得在公共工具中使用个人数据。然后她选择一种用法来改进:一个回答“我该如何……”问题的面向员工的助手,只使用经批准的知识库,附带来源链接和一个显眼的联系真人的按钮。
她根据真实工单建立了 60 个测试问题,其中十个是知识库无法回答的,正确的行为是说明这一点。第一个版本对其中三个给出了编造的步骤。团队收紧了指令,并增加了一条规则:没有匹配的文章时拒绝回答,失败降到了一个。在第一个月,服务台坐席阅读每一个未被助手解决的对话,以及其余对话的一部分样本。
变化在于:助手无需工单就解决了约三分之一的对话,坐席花在重复性问题上的时间减少了。仍然困难的是:知识库中有过时的文章被助手引用,所以团队必须清理它;供应商在没有通知的情况下更换了底层模型,一次就曾让行为在一夜之间改变;而小分馆的员工有时更愿意打电话。经理设定了每月一次的测试运行、一个就模型变更联系的约定联系人,以及一条清晰的信息:打电话仍然可行。
四种视角
产品与交付团队
在你通常的评审和流水线检查之下,用 AI 起草代码、测试和文档。记录哪里使用了 AI,并留意不安全或未经许可的代码。把你自己产品中的 AI 功能视为有负责人的服务。
服务与运维团队
用 AI 来分类、总结和搜索,凡是影响用户或系统的事情都由人来决定。报告错误和险情,并帮助调整 AI 所见和所说的内容。
领导层与治理
索要清单、负责人、度量,以及失败预案。就数据和决策设定清晰的规则。为培训和测试出资,而不只是许可证。
客户与用户
你应当知道自己何时在和 AI 交谈,并能联系到真人。当回答有误或没有帮助时,告诉提供者。注意你分享了什么个人数据。
敏捷、AI、自动化与分析
敏捷
在小规模试用中与真实用户一起尝试 AI,从反馈中学习,并决定保留、改变或停止。让干系人参与 AI 可以做什么的讨论。注意:一次成功的演示并不能证明某种用法是安全或有价值的;要进行带有度量的真实试用。
AI
本主题就是 AI 视角本身:每种用法都需要负责人、在可能造成伤害之处由人来决定、错误检测和度量。注意:不要把问责交给供应商或模型;对你的服务所交付的结果,你仍要负责。
自动化
AI 决定或建议;自动化执行。要谨慎地将两者连接,限制无需批准即可发生的事情,带有日志和停止的办法。注意:触发自动化的 AI 会迅速放大一个错误;增加速率限制和评审。见主题 6.1 — 自动化策略。
分析
度量收益、抽样中发现的错误率、用户反馈和成本。注意:使用数字和用户评分可能看起来不错,而质量却很差;要抽查输出并与基线作比较。见主题 7.3 — 度量与报告和《服务管理度量》一书。
常见失败模式
- 先有工具,后有问题。 某项功能被打开,却没人度量收益。从痛点和度量开始。
- 没有清单。 用法在无人察觉中成倍增加。列出每种 AI 用法并指定负责人。
- 名义上的人工评审。 评审者走过场。给予时间、背景和权力,并抽查他们的决定。
- 自信的错误回答。 用户依据编造的建议行事。让回答立足于来源,引用来源,并在不确定时拒绝回答。
- 数据泄露。 敏感文本流向外部工具。制定规则并核查条款。
- 忽视模型变更。 供应商更新后行为发生变化。定期测试并指定变更联系人。
- 无路可退。 服务依赖 AI 而没有后备。提供联系真人的途径和关闭的开关。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 清单与所有权 | 用法未知 | 列出主要用法 | 带有负责人和目的的清单 | 评审并测试清单 | 清单与目录和治理整合 |
| 人的决策 | 未定义 | 非正式评审 | 为每种用法定义了评审点 | 抽查评审的质量 | 评审随风险和证据而调整 |
| 测试与监控 | 无 | 演示 | 测试集和定期抽样 | 度量错误和漂移 | 跨用法持续评估 |
| 数据与风险 | 不清楚 | 有意识 | 关于数据和供应商条款的规则 | 检查并审计合规情况 | 风险在团队和供应商之间管理 |
检查清单
- 我们保留一份 AI 用法清单,包括供应商功能和个人工具。
- 每种用法都有指定的负责人。
- 我们写明了每个 AI 可以独自做什么、什么需要评审、什么绝不能做。
- 回答立足于经评审的来源,并显示来源。
- 我们有测试集并定期运行。
- 我们抽查输出,并跟踪错误、更正和反馈。
- 我们对哪些数据流向哪些工具有规则。
- 用户可以联系到真人,我们可以关闭每一种 AI 用法。
AI 提示词
根据对我们工具的描述列出 AI 用法。
这是我们团队使用的工具及其功能的描述:[粘贴]。
请列出哪些工具可能包含 AI 功能、每项可能做什么、可能处理什么数据,以及向供应商或负责人提出的一个问题。清楚地标明哪些条目是猜测,不要陈述关于供应商的事实。
请列出你不确定的事项。
为助手起草测试问题。
我们的助手只使用这些文档回答关于 [主题] 的问题:[列出标题]。
请写出 30 个测试问题:15 个是文档能回答的,10 个是文档不能回答的,5 个是试图让助手无视其指令的。对每一个,说明正确的行为。不要包含真实的个人数据。
请列出你不确定的事项。
准备一次 AI 用法评审。
AI 用法:[描述]。负责人:[角色]。使用的数据:[列表]。它影响的决策:[列表]。
请起草一份一页纸的评审,包含:目的、它可以独自做什么、什么需要人工评审、如何检测错误、如何关闭,以及未解决的问题。标出你无法根据我的描述填写的每一项。
请列出你不确定的事项。
AI 技能
- prompt-engineering:用于设计清晰、有依据且可测试的提示词。
- machine-learning-model-card:用于记录模型做什么、其数据及其局限。
- risk-register:用于记录 AI 风险、负责人和决策。
- itil-5:用于将 AI 的使用与所有者的最新指南联系起来,并将未经核实的说法标注出来。
- mlops:用于在整个生命周期中管理模型。
主要来源
- NIST, AI Risk Management Framework:识别和管理 AI 风险的广泛使用的结构。
- ISO/IEC 42001(标准本身):人工智能管理体系的要求;请从出版方获取当前版本阅读。
- PeopleCert, ITIL certification pages:所有者对 ITIL(第 5 版)的描述,包括 AI。
- Wikipedia, "Artificial intelligence" 和 "Large language model":对该领域和技术的概述。
参考文献
- Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
- Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
- Generative AI — Wikipedia — https://en.wikipedia.org/wiki/Generative_AI
- Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
- Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
- Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
- Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
- Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
- ITIL Foundation Bridge (Version 5) — PeopleCert — https://www.peoplecert.org/browse-certifications/it-governance-and-service-management/ITIL-1/itil-foundation-bridge-version-5-4158
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework