为什么这很重要

运行服务的大量工作就是写作和阅读。在事件期间,有人撰写状态更新,其他人阅读聊天记录。事后,有人撰写时间线和评审。知识文章起初只是一条需要整理成可读内容的工单解决说明。变更请求需要描述、风险评估和计划。这些任务耗时、重复,而且因为每个人都很忙,往往做得又晚又糟。

生成式 AI 很适合这类工作。大语言模型能阅读一串很长的对话,并在几秒钟内生成摘要。它们能把粗略的笔记变成整洁的草稿,并为评审提出结构。用得好,它们让有技能的人腾出手来做判断和交谈。用得不好,它们生成自信、流畅却错误的文字:带有编造时间的时间线、没有人找到过的根本原因、并不存在的运行手册步骤。

差别在于工作是如何设置的。把实际的记录交给模型,要求它只使用这些记录,让它显示来源,并在任何内容被分享之前由人检查。本主题针对三个领域给出实用的模式:事件、知识和变更。它建立在主题 5.1 — 服务管理中的 AI 的一般理念之上,并与事件管理(主题 3.2 — 事件管理)、问题管理(主题 3.3 — 问题管理)、知识管理(主题 3.9 — 知识管理)和变更赋能(主题 3.4 — 变更赋能)相关。治理问题见主题 5.6 — AI 治理、风险与合规。

核心概念

生成式 AI。 根据提示词生成新内容,如文本和代码的系统。维基百科描述了生成式 AI(generative AI)和大语言模型(large language models)。对于服务工作,文本是主要的输出:摘要、草稿、解释和结构化笔记。

幻觉。 流畅却没有依据或虚假的输出。维基百科描述了 AI 中的幻觉(hallucination)。这是这些模型工作方式的特性,而不是罕见的缺陷。当要求模型提供它没有被给予的事实:确切的时间、原因、政策编号、API 选项时,风险最高。

立足于来源(grounding)。 把源材料交给模型,并要求它只依据这些材料作答。维基百科描述的检索增强生成(retrieval-augmented generation)会找出相关文档并提供给模型。对于事件,来源是时间线、聊天和监控数据;对于知识,是工单和现有文章;对于变更,是变更记录和过往类似的变更。立足于来源能减少错误,但不能消除。

上下文窗口。 模型一次能够考虑的文本量。维基百科描述了上下文窗口(context window)。很长的事件聊天可能超出它,所以长输入要分段总结。检查重要的材料是否被丢掉了。

总结。 把长文本缩减为要点。维基百科描述了自动摘要(automatic summarization)。摘要在设计上会丢失细节,也可能扭曲细节。最好把它们用作通向原文的指引,并留有核对的手段。

草稿,而不是决定。 最安全的用法是生成初稿,由人编辑并负责。结果上署这个人的名字,由他对此负责。这使判断保留在人类手中,并把模型用于机械的部分。

提示词与指令。 给模型的文本。清晰的指令,包括角色、任务、来源、格式,以及信息缺失时该怎么办,会改善结果。见主题 5.7 — AI 技能与提示词。

机密性。 事件聊天和工单常含有机密、个人数据和安全细节。文本去向何处很重要:你们组织托管的模型、合同约束下的供应商服务,还是条款不明的公共工具。决定什么可以去哪里。见主题 5.6 — AI 治理、风险与合规。

提示注入。 你交给模型的材料,比如工单正文或日志行,其中的文本可能包含试图改变其行为的指令。维基百科描述了提示注入(prompt injection)。把所有输入视为不可信,不要让拥有行动权力的模型去阅读来自未知来源的内容。

自动化偏差。 信任自动化建议的倾向,尤其是在疲惫或忙碌时。维基百科描述了自动化偏差(automation bias)。在事件期间,一条流畅的建议可能把响应人员引向错误的路径。把 AI 的输出当作假设。

事件。 有用的任务包括为新加入的响应人员总结一段对话、起草供审阅的状态更新、从记录中提取带时间戳的事件时间线、找出类似的过往事件,以及为评审提出问题。有风险的任务包括把根本原因当作事实陈述,以及未经审阅就向客户发送更新。

知识。 有用的任务包括把已解决的工单变成文章草稿、用通俗语言改写文章、建议标题和标签,以及找出重复。有风险的任务包括未经技术检查就发布草稿,以及依赖模型知道正确的修复方法。

变更。 有用的任务包括检查变更描述是否缺少信息、总结大型拉取请求、建议测试用例,以及根据过往类似变更列出风险因素。有风险的任务包括仅凭模型的一句话就批准变更或把其风险评为“低”。

代码与脚本。 模型可以起草脚本、查询和配置。维基百科在更广泛的意义上描述了代码生成(code generation)。生成的代码可能含有错误、安全缺陷或许可问题。把它当作不可信的代码:评审、测试,并通过流水线运行。见主题 3.4 — 变更赋能和主题 4.2 — 软件资产管理。

记录与审计。 保留一份关于如何使用 AI 的记录:提示词、给出的来源、输出、谁评审的以及改了什么。维基百科描述了审计追踪(audit trail)。这支持学习和问责。

这些视角如何契合。 生成式 AI 是 AI 视角中最显眼的形式之一。敏捷实践建议与做这项工作的人一起进行简短的试用并获得反馈。自动化可以将草稿送入工具,并设评审关卡。分析显示哪些用法节省时间,哪些造成返工。

最佳实践

  1. 把记录交给它,并说明只使用这些。 粘贴或检索实际的时间线、工单或变更,并指示模型只使用所提供的文本。告诉它在信息缺失时写“未说明”。
  2. 要求引用和出处。 让模型引用它所用到的行或文章,使人可以迅速核对每一项陈述。
  3. 把事实与推断分开。 先要求给出取自记录的事实,再给出明确标注的假设。不要让假设以发现的面目出现。
  4. 保留一位人类负责人。 无论模型起草了什么,发送更新、发布文章或批准变更的人,对内容负责。在流程中明确这一点。
  5. 未经审阅的输出不要发往外部。 发给客户、监管机构或公众的状态更新需要人工审阅和批准。内部草稿风险较低,但仍需检查。
  6. 保护数据。 使用与内容敏感度相称的已批准工具。尽可能去除机密和个人数据,绝不要粘贴凭据。
  7. 核对数字、姓名和时间。 这些是编造最容易出现的地方。把草稿中的每个数字与来源比对。
  8. 用真实案例测试。 在你知道真相的过往事件和工单上运行这种做法,并记下它在哪里失败。分享发现并更新你的指令。
  9. 记录使用。 记录 AI 帮了忙,连同来源和评审人。跟踪更正,了解哪些任务适合它。
  10. 评审并淘汰。 评审哪些用法节省了时间,哪些造成了返工。停止那些没有帮助的。

与团队讨论的问题

在我们的事件和变更工作中,哪些写作和阅读任务耗时最多?哪些风险较低? 列一份清单。预期有时间线、状态更新、评审草稿和变更描述。按风险排序。追问:选择一项低风险的任务,试着用 AI 来做。

在信任一份由 AI 撰写的事件摘要之前,我们需要核对什么? 想想时间、原因和影响。预期会一致认为时间和原因需要核对。追问:写一份简短的检查清单。

哪些信息绝不能放进 AI 工具?我们如何使之易于遵守? 列出机密、个人数据和安全细节。预期在什么算数上会有困惑。追问:商定一条简单的规则,以及一个用于其余内容的安全工具。

我们怎么知道 AI 的摘要或草稿是否在让我们的知识库变得更糟? 想想错误的步骤和反复出现的错误。预期会听到“我们不会知道”。追问:每月对由 AI 辅助的文章抽样检查准确性。

我们什么时候会让 AI 建议变更的风险?由谁决定? 展开讨论。预期对批准持谨慎态度,而对提示缺失信息比较放心。追问:商定 AI 可以建议问题和类似的过往变更,而由人来评定风险。

我们团队中谁善于检查 AI 的输出?我们如何传播这项技能? 检查是一项技能。预期有少数几位自信的人。追问:开展一次简短的练习,让团队一起检查一份有缺陷的草稿。

实践:一个服务管理示例

一家国家铁路公司的运营技术团队运行信号支持系统。每次重大事件之后,一名工程师要花半天时间根据聊天记录、监控图表和工单笔记撰写评审。评审总是很晚才出,最近的几份也很单薄。

团队负责人试用了一个生成式 AI 助手,它按铁路公司与某供应商的合同托管,供应商不保留输入也不用其训练,用于评审的初稿。对每起事件,工程师导出聊天记录和工单历史,去除员工姓名,并给助手这样的指令:只使用提供的文本;生成时间线,每个条目引用来源行;按所述列出影响;列出什么起了帮助作用、什么拖慢了响应;文本中没有的内容标为“未说明”;并把假设放在单独的、标注为假设的部分。

在对一起过往事件的首次测试中,草稿的时间线是准确的,只有一处例外:它给出的重启时间是 02:15,而聊天中说的是“大概一刻钟左右,我想”,工单上写的是 02:22;工程师更正了它。草稿还把“一台有故障的网络交换机”列为原因,这在聊天中是一个后来被推翻的猜测;评审按指示把它移到了假设中,但没有注明它已被推翻。工程师修正了这两处,并在两小时而不是四小时内把草稿发给了团队。

十起事件之后,团队估计初稿所需时间约为原来的三分之一。他们增加了一条规则:工程师每次都对照来源检查每一个时间和原因,评审中要记录初稿由 AI 起草。他们还决定暂时不用 AI 评定变更记录中的风险。

变化在于:评审一天之内就能出,关于什么起了帮助作用的细节也更多。仍然困难的是:工程师有时会接受模型对原因的措辞,而证据对此只有微弱的支持;机密细节偶尔仍残留在导出的聊天中;还有一名工程师担心起草的技能会退化。负责人安排了每季度一次的练习,让工程师不用 AI 写一份评审,并进行比较。

四种视角

产品与交付团队

用 AI 根据你自己的记录起草变更描述、测试思路和发布说明,并加以评审。把生成的代码视为不可信:像任何其他变更一样测试和扫描。

服务与运维团队

用 AI 总结对话,起草更新、评审和文章,并附上来源。检查每一个时间、姓名和原因,并对你发布的内容负责。

领导层与治理

制定关于数据和批准的规则,并为符合这些规则的工具出资。要求提供节省时间和发现错误的证据。不要把 AI 的输出当作事实的记录。

客户与用户

你应当收到由人检查过的更新。如果你在收到的内容中发现错误,告诉提供者。问问在向你提供的信息中如何使用 AI。

敏捷、AI、自动化与分析

敏捷

与做这项工作的人一起,一次试用一项写作任务,收集反馈并改进指令。保持评审简短而频繁。注意:不要让更快的草稿缩短反思;评审的价值在于学习。

AI

让每种用法都立足于记录,显示来源,并让一个人负责。在过往案例上测试并记录 AI 的使用。注意:流畅的文本掩盖了薄弱的证据;要求模型标注置信度和来源,并加以检查。见主题 5.7 — AI 技能与提示词。

自动化

自动化管线工作:导出记录、去除机密、调用模型、把草稿附到工单上,并通知评审人。在发布之前保留评审关卡。注意:自动发布草稿的流水线会扩散错误;要求批准。见主题 6.2 — 工作流自动化与编排。

分析

跟踪撰写评审的时间、对草稿所做的编辑、发现的错误,以及按任务类型的使用情况。注意:统计生成的草稿数量会奖励数量,节省的时间往往是估算的;抽查最终文档的质量。见《服务管理度量》一书和主题 7.3 — 度量与报告。

常见失败模式

  • 凭记忆给出事实。 模型编造时间和原因。提供记录并要求引用。
  • 未经审阅的外部更新。 错误信息到达客户。要求人工批准。
  • 提示词中的机密。 敏感数据泄露。使用已批准的工具并去除机密。
  • 走过场。 评审者不加检查就接受草稿。提供检查清单并抽查评审。
  • 操纵模型的输入。 恶意文本改变行为。把输入视为不可信。
  • 用 AI 评定风险。 一个流畅的“低”被信任。用 AI 提出问题,让人来评定风险。
  • 技能退化。 人们停止写作和检查。保持练习和评审质量。

成熟度模型

维度 起步 发展 标准化 管理 协同
使用 个人实验 分享技巧 为事件、知识和变更制定经批准的模式 依据结果评审这些模式 模式在治理下融入工具
来源立足与检查 模型记忆 显示了一些来源 引用来源,并对照记录核对事实 跟踪错误并反馈 验证部分自动化,并由人签核
数据保护 不清楚 有意识 已批准的工具和规则 监控合规情况 控制措施内建于工具和流水线
问责 不清楚 非正式 每项输出都有指定的负责人 审计负责人和评审 问责在各服务间整合

检查清单

  • 我们为生成式 AI 选择了几项低风险的写作任务。
  • 我们把记录交给模型,并告诉它只使用这些。
  • 输出引用其来源,并将事实与假设分开。
  • 每项输出在被分享之前都由一位指定的人负责并评审。
  • 对敏感内容,我们使用已批准的工具并去除机密。
  • 我们对照来源核对时间、姓名、数字和原因。
  • 我们记录 AI 何时帮了忙,以及由谁评审。
  • 我们不让 AI 单独批准变更或陈述根本原因。

AI 提示词

构建带来源的事件时间线。

下面是一起事件的聊天记录和工单历史,已去除姓名:[粘贴]。
请生成一张时间线表,列为:时间(完全按原文;如无时间则写“未说明”)、事件,以及引用的来源行。然后按文本所述列出影响,并另设一个“提到的假设”部分,注明每个假设由谁提出,以及文本显示它是被证实还是被排除。不要添加文本中没有的内容。
请列出你不确定的事项。

根据已解决的工单起草知识文章。

这是一张带有笔记的已解决工单,已去除个人数据:[粘贴]。这是相关主题的现有文章:[粘贴标题和摘要]。
请起草一篇新文章,包含用通俗词语写的标题、症状、步骤以及如何检查是否奏效。只使用该工单。缺失的信息标注为 [缺失],并列出可能与本文重复的现有文章。
请列出你不确定的事项。

检查变更描述。

这是一份变更描述:[粘贴]。我们的必填项:[列表]。
请列出哪些必填项缺失或不清楚,列出评审人应当问的问题,并列出描述中看起来彼此不一致的陈述。不要评定风险,也不要建议批准。
请列出你不确定的事项。

AI 技能

  • postmortem:用于构建由 AI 起草、由人负责的事件评审。
  • prompt-engineering:用于编写清晰、有依据的指令。
  • runbook:用于把程序变成经过检查和测试的运行手册。
  • release-notes:用于起草供审阅的发布说明。
  • change-request:用于界定一份好的变更描述包含什么。

主要来源

  • NIST, AI Risk Management Framework:识别和管理 AI 使用风险的结构。
  • OWASP, guidance on risks for applications built on large language models (owasp.org):关于提示注入和相关风险的社区建议。
  • Wikipedia, "Generative AI" 和 "Hallucination (artificial intelligence)":对该技术及其主要失败模式的概述。
  • Wikipedia, "Automation bias":人们为何过度信任自动化建议。

参考文献

  1. Generative AI — Wikipedia — https://en.wikipedia.org/wiki/Generative_AI
  2. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
  3. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
  4. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  5. Automatic summarization — Wikipedia — https://en.wikipedia.org/wiki/Automatic_summarization
  6. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  7. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
  8. Context window — Wikipedia — https://en.wikipedia.org/wiki/Context_window
  9. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  10. Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
  11. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
  12. OWASP — OWASP Foundation — https://owasp.org