面向事件、知识与变更的生成式 AI
生成式 AI 可以总结事件、起草知识文章和事后复盘,并帮助评估变更;它在初稿上节省的时间最多,在事实上最少,所以把它用于写作和阅读,对照记录核实每一项陈述,并让一位指定的人对发出或批准的内容负责。
为什么这很重要
运行服务的大量工作就是写作和阅读。在事件期间,有人撰写状态更新,其他人阅读聊天记录。事后,有人撰写时间线和评审。知识文章起初只是一条需要整理成可读内容的工单解决说明。变更请求需要描述、风险评估和计划。这些任务耗时、重复,而且因为每个人都很忙,往往做得又晚又糟。
生成式 AI 很适合这类工作。大语言模型能阅读一串很长的对话,并在几秒钟内生成摘要。它们能把粗略的笔记变成整洁的草稿,并为评审提出结构。用得好,它们让有技能的人腾出手来做判断和交谈。用得不好,它们生成自信、流畅却错误的文字:带有编造时间的时间线、没有人找到过的根本原因、并不存在的运行手册步骤。
差别在于工作是如何设置的。把实际的记录交给模型,要求它只使用这些记录,让它显示来源,并在任何内容被分享之前由人检查。本主题针对三个领域给出实用的模式:事件、知识和变更。它建立在主题 5.1 — 服务管理中的 AI 的一般理念之上,并与事件管理(主题 3.2 — 事件管理)、问题管理(主题 3.3 — 问题管理)、知识管理(主题 3.9 — 知识管理)和变更赋能(主题 3.4 — 变更赋能)相关。治理问题见主题 5.6 — AI 治理、风险与合规。
核心概念
生成式 AI。 根据提示词生成新内容,如文本和代码的系统。维基百科描述了生成式 AI(generative AI)和大语言模型(large language models)。对于服务工作,文本是主要的输出:摘要、草稿、解释和结构化笔记。
幻觉。 流畅却没有依据或虚假的输出。维基百科描述了 AI 中的幻觉(hallucination)。这是这些模型工作方式的特性,而不是罕见的缺陷。当要求模型提供它没有被给予的事实:确切的时间、原因、政策编号、API 选项时,风险最高。
立足于来源(grounding)。 把源材料交给模型,并要求它只依据这些材料作答。维基百科描述的检索增强生成(retrieval-augmented generation)会找出相关文档并提供给模型。对于事件,来源是时间线、聊天和监控数据;对于知识,是工单和现有文章;对于变更,是变更记录和过往类似的变更。立足于来源能减少错误,但不能消除。
上下文窗口。 模型一次能够考虑的文本量。维基百科描述了上下文窗口(context window)。很长的事件聊天可能超出它,所以长输入要分段总结。检查重要的材料是否被丢掉了。
总结。 把长文本缩减为要点。维基百科描述了自动摘要(automatic summarization)。摘要在设计上会丢失细节,也可能扭曲细节。最好把它们用作通向原文的指引,并留有核对的手段。
草稿,而不是决定。 最安全的用法是生成初稿,由人编辑并负责。结果上署这个人的名字,由他对此负责。这使判断保留在人类手中,并把模型用于机械的部分。
提示词与指令。 给模型的文本。清晰的指令,包括角色、任务、来源、格式,以及信息缺失时该怎么办,会改善结果。见主题 5.7 — AI 技能与提示词。
机密性。 事件聊天和工单常含有机密、个人数据和安全细节。文本去向何处很重要:你们组织托管的模型、合同约束下的供应商服务,还是条款不明的公共工具。决定什么可以去哪里。见主题 5.6 — AI 治理、风险与合规。
提示注入。 你交给模型的材料,比如工单正文或日志行,其中的文本可能包含试图改变其行为的指令。维基百科描述了提示注入(prompt injection)。把所有输入视为不可信,不要让拥有行动权力的模型去阅读来自未知来源的内容。
自动化偏差。 信任自动化建议的倾向,尤其是在疲惫或忙碌时。维基百科描述了自动化偏差(automation bias)。在事件期间,一条流畅的建议可能把响应人员引向错误的路径。把 AI 的输出当作假设。
事件。 有用的任务包括为新加入的响应人员总结一段对话、起草供审阅的状态更新、从记录中提取带时间戳的事件时间线、找出类似的过往事件,以及为评审提出问题。有风险的任务包括把根本原因当作事实陈述,以及未经审阅就向客户发送更新。
知识。 有用的任务包括把已解决的工单变成文章草稿、用通俗语言改写文章、建议标题和标签,以及找出重复。有风险的任务包括未经技术检查就发布草稿,以及依赖模型知道正确的修复方法。
变更。 有用的任务包括检查变更描述是否缺少信息、总结大型拉取请求、建议测试用例,以及根据过往类似变更列出风险因素。有风险的任务包括仅凭模型的一句话就批准变更或把其风险评为“低”。
代码与脚本。 模型可以起草脚本、查询和配置。维基百科在更广泛的意义上描述了代码生成(code generation)。生成的代码可能含有错误、安全缺陷或许可问题。把它当作不可信的代码:评审、测试,并通过流水线运行。见主题 3.4 — 变更赋能和主题 4.2 — 软件资产管理。
记录与审计。 保留一份关于如何使用 AI 的记录:提示词、给出的来源、输出、谁评审的以及改了什么。维基百科描述了审计追踪(audit trail)。这支持学习和问责。
这些视角如何契合。 生成式 AI 是 AI 视角中最显眼的形式之一。敏捷实践建议与做这项工作的人一起进行简短的试用并获得反馈。自动化可以将草稿送入工具,并设评审关卡。分析显示哪些用法节省时间,哪些造成返工。
最佳实践
- 把记录交给它,并说明只使用这些。 粘贴或检索实际的时间线、工单或变更,并指示模型只使用所提供的文本。告诉它在信息缺失时写“未说明”。
- 要求引用和出处。 让模型引用它所用到的行或文章,使人可以迅速核对每一项陈述。
- 把事实与推断分开。 先要求给出取自记录的事实,再给出明确标注的假设。不要让假设以发现的面目出现。
- 保留一位人类负责人。 无论模型起草了什么,发送更新、发布文章或批准变更的人,对内容负责。在流程中明确这一点。
- 未经审阅的输出不要发往外部。 发给客户、监管机构或公众的状态更新需要人工审阅和批准。内部草稿风险较低,但仍需检查。
- 保护数据。 使用与内容敏感度相称的已批准工具。尽可能去除机密和个人数据,绝不要粘贴凭据。
- 核对数字、姓名和时间。 这些是编造最容易出现的地方。把草稿中的每个数字与来源比对。
- 用真实案例测试。 在你知道真相的过往事件和工单上运行这种做法,并记下它在哪里失败。分享发现并更新你的指令。
- 记录使用。 记录 AI 帮了忙,连同来源和评审人。跟踪更正,了解哪些任务适合它。
- 评审并淘汰。 评审哪些用法节省了时间,哪些造成了返工。停止那些没有帮助的。
与团队讨论的问题
在我们的事件和变更工作中,哪些写作和阅读任务耗时最多?哪些风险较低? 列一份清单。预期有时间线、状态更新、评审草稿和变更描述。按风险排序。追问:选择一项低风险的任务,试着用 AI 来做。
在信任一份由 AI 撰写的事件摘要之前,我们需要核对什么? 想想时间、原因和影响。预期会一致认为时间和原因需要核对。追问:写一份简短的检查清单。
哪些信息绝不能放进 AI 工具?我们如何使之易于遵守? 列出机密、个人数据和安全细节。预期在什么算数上会有困惑。追问:商定一条简单的规则,以及一个用于其余内容的安全工具。
我们怎么知道 AI 的摘要或草稿是否在让我们的知识库变得更糟? 想想错误的步骤和反复出现的错误。预期会听到“我们不会知道”。追问:每月对由 AI 辅助的文章抽样检查准确性。
我们什么时候会让 AI 建议变更的风险?由谁决定? 展开讨论。预期对批准持谨慎态度,而对提示缺失信息比较放心。追问:商定 AI 可以建议问题和类似的过往变更,而由人来评定风险。
我们团队中谁善于检查 AI 的输出?我们如何传播这项技能? 检查是一项技能。预期有少数几位自信的人。追问:开展一次简短的练习,让团队一起检查一份有缺陷的草稿。
实践:一个服务管理示例
一家国家铁路公司的运营技术团队运行信号支持系统。每次重大事件之后,一名工程师要花半天时间根据聊天记录、监控图表和工单笔记撰写评审。评审总是很晚才出,最近的几份也很单薄。
团队负责人试用了一个生成式 AI 助手,它按铁路公司与某供应商的合同托管,供应商不保留输入也不用其训练,用于评审的初稿。对每起事件,工程师导出聊天记录和工单历史,去除员工姓名,并给助手这样的指令:只使用提供的文本;生成时间线,每个条目引用来源行;按所述列出影响;列出什么起了帮助作用、什么拖慢了响应;文本中没有的内容标为“未说明”;并把假设放在单独的、标注为假设的部分。
在对一起过往事件的首次测试中,草稿的时间线是准确的,只有一处例外:它给出的重启时间是 02:15,而聊天中说的是“大概一刻钟左右,我想”,工单上写的是 02:22;工程师更正了它。草稿还把“一台有故障的网络交换机”列为原因,这在聊天中是一个后来被推翻的猜测;评审按指示把它移到了假设中,但没有注明它已被推翻。工程师修正了这两处,并在两小时而不是四小时内把草稿发给了团队。
十起事件之后,团队估计初稿所需时间约为原来的三分之一。他们增加了一条规则:工程师每次都对照来源检查每一个时间和原因,评审中要记录初稿由 AI 起草。他们还决定暂时不用 AI 评定变更记录中的风险。
变化在于:评审一天之内就能出,关于什么起了帮助作用的细节也更多。仍然困难的是:工程师有时会接受模型对原因的措辞,而证据对此只有微弱的支持;机密细节偶尔仍残留在导出的聊天中;还有一名工程师担心起草的技能会退化。负责人安排了每季度一次的练习,让工程师不用 AI 写一份评审,并进行比较。
四种视角
产品与交付团队
用 AI 根据你自己的记录起草变更描述、测试思路和发布说明,并加以评审。把生成的代码视为不可信:像任何其他变更一样测试和扫描。
服务与运维团队
用 AI 总结对话,起草更新、评审和文章,并附上来源。检查每一个时间、姓名和原因,并对你发布的内容负责。
领导层与治理
制定关于数据和批准的规则,并为符合这些规则的工具出资。要求提供节省时间和发现错误的证据。不要把 AI 的输出当作事实的记录。
客户与用户
你应当收到由人检查过的更新。如果你在收到的内容中发现错误,告诉提供者。问问在向你提供的信息中如何使用 AI。
敏捷、AI、自动化与分析
敏捷
与做这项工作的人一起,一次试用一项写作任务,收集反馈并改进指令。保持评审简短而频繁。注意:不要让更快的草稿缩短反思;评审的价值在于学习。
AI
让每种用法都立足于记录,显示来源,并让一个人负责。在过往案例上测试并记录 AI 的使用。注意:流畅的文本掩盖了薄弱的证据;要求模型标注置信度和来源,并加以检查。见主题 5.7 — AI 技能与提示词。
自动化
自动化管线工作:导出记录、去除机密、调用模型、把草稿附到工单上,并通知评审人。在发布之前保留评审关卡。注意:自动发布草稿的流水线会扩散错误;要求批准。见主题 6.2 — 工作流自动化与编排。
分析
跟踪撰写评审的时间、对草稿所做的编辑、发现的错误,以及按任务类型的使用情况。注意:统计生成的草稿数量会奖励数量,节省的时间往往是估算的;抽查最终文档的质量。见《服务管理度量》一书和主题 7.3 — 度量与报告。
常见失败模式
- 凭记忆给出事实。 模型编造时间和原因。提供记录并要求引用。
- 未经审阅的外部更新。 错误信息到达客户。要求人工批准。
- 提示词中的机密。 敏感数据泄露。使用已批准的工具并去除机密。
- 走过场。 评审者不加检查就接受草稿。提供检查清单并抽查评审。
- 操纵模型的输入。 恶意文本改变行为。把输入视为不可信。
- 用 AI 评定风险。 一个流畅的“低”被信任。用 AI 提出问题,让人来评定风险。
- 技能退化。 人们停止写作和检查。保持练习和评审质量。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 使用 | 个人实验 | 分享技巧 | 为事件、知识和变更制定经批准的模式 | 依据结果评审这些模式 | 模式在治理下融入工具 |
| 来源立足与检查 | 模型记忆 | 显示了一些来源 | 引用来源,并对照记录核对事实 | 跟踪错误并反馈 | 验证部分自动化,并由人签核 |
| 数据保护 | 不清楚 | 有意识 | 已批准的工具和规则 | 监控合规情况 | 控制措施内建于工具和流水线 |
| 问责 | 不清楚 | 非正式 | 每项输出都有指定的负责人 | 审计负责人和评审 | 问责在各服务间整合 |
检查清单
- 我们为生成式 AI 选择了几项低风险的写作任务。
- 我们把记录交给模型,并告诉它只使用这些。
- 输出引用其来源,并将事实与假设分开。
- 每项输出在被分享之前都由一位指定的人负责并评审。
- 对敏感内容,我们使用已批准的工具并去除机密。
- 我们对照来源核对时间、姓名、数字和原因。
- 我们记录 AI 何时帮了忙,以及由谁评审。
- 我们不让 AI 单独批准变更或陈述根本原因。
AI 提示词
构建带来源的事件时间线。
下面是一起事件的聊天记录和工单历史,已去除姓名:[粘贴]。
请生成一张时间线表,列为:时间(完全按原文;如无时间则写“未说明”)、事件,以及引用的来源行。然后按文本所述列出影响,并另设一个“提到的假设”部分,注明每个假设由谁提出,以及文本显示它是被证实还是被排除。不要添加文本中没有的内容。
请列出你不确定的事项。
根据已解决的工单起草知识文章。
这是一张带有笔记的已解决工单,已去除个人数据:[粘贴]。这是相关主题的现有文章:[粘贴标题和摘要]。
请起草一篇新文章,包含用通俗词语写的标题、症状、步骤以及如何检查是否奏效。只使用该工单。缺失的信息标注为 [缺失],并列出可能与本文重复的现有文章。
请列出你不确定的事项。
检查变更描述。
这是一份变更描述:[粘贴]。我们的必填项:[列表]。
请列出哪些必填项缺失或不清楚,列出评审人应当问的问题,并列出描述中看起来彼此不一致的陈述。不要评定风险,也不要建议批准。
请列出你不确定的事项。
AI 技能
- postmortem:用于构建由 AI 起草、由人负责的事件评审。
- prompt-engineering:用于编写清晰、有依据的指令。
- runbook:用于把程序变成经过检查和测试的运行手册。
- release-notes:用于起草供审阅的发布说明。
- change-request:用于界定一份好的变更描述包含什么。
主要来源
- NIST, AI Risk Management Framework:识别和管理 AI 使用风险的结构。
- OWASP, guidance on risks for applications built on large language models (owasp.org):关于提示注入和相关风险的社区建议。
- Wikipedia, "Generative AI" 和 "Hallucination (artificial intelligence)":对该技术及其主要失败模式的概述。
- Wikipedia, "Automation bias":人们为何过度信任自动化建议。
参考文献
- Generative AI — Wikipedia — https://en.wikipedia.org/wiki/Generative_AI
- Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
- Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Automatic summarization — Wikipedia — https://en.wikipedia.org/wiki/Automatic_summarization
- Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
- Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
- Context window — Wikipedia — https://en.wikipedia.org/wiki/Context_window
- Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
- OWASP — OWASP Foundation — https://owasp.org