为什么这很重要

一个擅长处理事件的团队仍然可能陷入循环。同一类故障每月重现,响应人员应用同样的变通办法,成本不断累积:用户损失的时间、疲惫的值班人员,以及越来越强烈的“什么都没有好转”的感觉。事件管理恢复服务;它不会阻止复发。

问题管理就是能阻止复发的实践。它追问事件为什么发生、什么能预防它们,并把答案分派给能够采取行动的人。它还记录关于尚未修复的故障已知的情况,使下一位响应人员不必从零开始。

对敏捷团队来说,这项实践自然地融入持续改进:发现成为待办事项(backlog)条目,与功能在同一份清单上竞争。薄弱环节通常不在于方法,而在于优先级。除非有人让复发的代价变得可见,否则修复原因常常敌不过新工作。本主题解释这项实践、查找原因的主要方法,以及如何避免发现死在一份报告里。它是事件管理(主题 3.2 — 事件管理)、知识管理(主题 3.9 — 知识管理)和持续改进(主题 3.15 — 持续改进)的亲密伙伴。

核心概念

问题。 在 ITIL 4 中,指一个或多个事件的原因或潜在原因。问题先于修复而存在;它可能已知正在引发事件,也可能只是被怀疑。并非每起事件都会产生问题记录。

已知错误。 已经过分析但尚未解决的问题,通常附有文档化的变通办法。维基百科描述了这一术语在 ITIL 中的用法。已知错误记录让服务台和响应人员能够迅速找到变通办法,并看到永久性修复的状态。

变通办法。 在不修复原因的情况下减轻或避免影响的办法。变通办法让日子可以忍受,也可能因疏忽而变成永久性的。好的记录会说明变通办法、谁可以应用它,以及真正修复的预期日期,使临时的东西不会悄悄变成永久的。

各项活动。 问题识别,从事件趋势、监控和评审中发现问题;问题控制,分析原因并记录已知错误;以及错误控制,管理已知错误直至解决或被接受。ITIL 把它们描述为一项实践的组成部分,而不是各自独立的流程。

主动与被动。 被动的问题管理对已经发生的事件作出响应。主动的问题管理在弱点引发事件之前寻找它们,例如研究险情、告警趋势和对变更的评审。

根因分析。 用于查找问题根本原因的一系列方法。维基百科描述了根因分析(root-cause analysis),并列出了常用技术。常见的有:

  • 五个为什么:反复追问“为什么”,直到找到可以采取行动的原因。
  • 因果图(石川图或鱼骨图):按类别列出可能的原因,以引导讨论。
  • 故障树分析:从故障出发,向后追溯可能导致它的事件组合。
  • 帕累托分析:用计数找出造成大部分事件的少数几个原因。
  • 失效模式与影响分析(FMEA):检查系统的每个部分可能如何失效,以及随之会发生什么。

关于原因的提醒。 复杂系统很少只有单一的根本原因。维基百科描述的瑞士奶酪模型(Swiss cheese model)把故障描绘为多层防御中各处弱点的对齐。寻找“那个”根本原因,往往会停留在第一个方便的解释上。更有用的做法通常是列出促成因素,并判断哪些改变起来成本最低、价值最大。

无责与公正文化。 责备会终止学习:人们隐瞒错误,评审变得带有防御性。无责评审关注的是系统中的什么使得当时的行为显得合理。维基百科描述的公正文化(just culture)区分诚实的失误与鲁莽的行为,并对二者分别处理。维基百科关于人为失误和后见之明偏差的文章解释了为什么“某人本该知道”很少是有用的发现。

事后复盘(postmortem)。 在重大事件之后撰写的书面评审,涵盖发生了什么、影响、时间线、促成因素、做得好的地方以及行动项。见维基百科关于事后文档(postmortem documentation)的文章。好的事后复盘会被阅读并付诸行动;糟糕的则被归档。

为问题排定优先级。 问题总是多于容量。按影响(如损失的用户时数或成本)、频率以及修复的廉价程度对它们排序。展示复发的代价。技术债务(technical debt),维基百科有描述,包括被推迟的已知问题;跟踪它能使这一选择变得可见。

与变更关联。 修复问题通常需要一项变更。通过正常的变更实践提出它,并确保在确认修复后关闭问题记录。见主题 3.4 — 变更赋能。

与知识关联。 已知错误及其变通办法应出现在服务台和值班人员能找到的知识文章中。见主题 3.9 — 知识管理。

这些视角如何契合。 问题管理是敏捷改进与运维相遇的地方:发现进入待办事项列表并公开竞争。AI 可以对事件聚类、建议候选问题并起草事后复盘,需要人工审查。自动化可以检测复发并应用经过测试的变通办法。分析显示复发和成本。

最佳实践

  1. 寻找规律,而不只是单个事件。 定期按服务、组件、变更和时间评审事件中的重复。出现规律时开立问题。
  2. 保留一份可见的问题清单。 记录每个问题的负责人、与之关联的事件、影响、变通办法和计划。让响应人员易于阅读这份清单。
  3. 用变通办法记录已知错误。 写成疲惫的值班人员也能照着做的样子,并链接到服务台的知识库。
  4. 根据问题选择方法。 简单情况用五个为什么,小组讨论用鱼骨图,复杂故障用故障树,找出应聚焦之处用帕累托图。不要对小问题使用沉重的方法。
  5. 列出促成因素,而不是一个罪魁祸首。 列出使故障得以发生的所有条件,并评估哪些在实践中值得改变。避免以“人为失误”收尾的发现。
  6. 开展无责评审。 邀请相关人员参加,说明规则,聚焦于系统。广泛分享书面评审。
  7. 让行动项具体并有人负责。 每项行动都有指定的人、日期和检查完成的方法。把它放进团队实际工作所依据的待办事项列表。
  8. 展示不修复的代价。 统计每个问题的事件时数、用户影响和值班负荷,并在排定优先级时使用这些总数。向设定优先级的人呈现。
  9. 闭环。 修复发布后,确认事件停止,更新知识文章,并关闭记录。如果问题仍然存在,重新打开它。
  10. 评审这项实践。 查看有多少问题未关闭、持续多久,以及重复事件是否减少。淘汰不值得修复的问题,并记录决定。

与团队讨论的问题

过去六个月内,哪些事件发生了三次或更多次?为什么它们仍在发生? 从真实的例子开始。预期会听到“我们一直没顾上”和“我们不知道原因”的混合。问问每次复发的代价。追问:选择一个去修复,一个正式接受。

我们如何决定先修复哪些问题?由谁决定? 优先级往往是隐含的。你可能会听到嗓门最大的人获胜。问问我们用什么数据。追问:商定标准,并展示排在前五的问题的代价。

上一次我们在评审中写下“人为失误”时,系统允许了什么? 这个问题检验无责实践。拿一份过去的评审,问是什么使这一行为很容易发生。寻找缺失的防护、不清晰的信息或时间压力。追问:用系统的措辞重写这条发现。

已知错误和变通办法存放在哪里?疲惫的人在凌晨 3 点能找到吗? 散落在聊天线程中的知识很难找到。一起试着找一条。预期会有延迟。追问:商定一个地方和一种命名习惯。

我们最近三次评审的行动项中,哪些仍未完成?为什么? 这个问题检验跟进落实。预期会与功能工作相互竞争。问问两者之间的优先级由谁决定。追问:商定留给问题行动项的容量比例。

AI 如何帮助我们发现事件中的规律?我们如何检查它是对的? AI 可以对事件分组并建议原因。它也可能发现虚假的规律。问问谁来评审以及如何评审。追问:在一批样本上,把 AI 的分组与人工分组作比较。

实践:一个服务管理示例

一所大学的学习平台团队每隔几周就会发生一次反复出现的事件:临近截止日期时,学生无法提交作业。服务台使用同样的变通办法,重启一个队列服务,15 分钟内即可恢复提交。每次事件都被关闭,然后被遗忘。

服务负责人提议把它当作一个问题来处理。她收集了最近九起事件,记录了每起事件发生的时间、当时的负载以及前一周所做的变更。帕累托分析没有帮助,因为只有一类原因,但时间线显示,每起事件都发生在截止日期前一小时之内,那时提交量激增。与开发和运维人员一起进行的鱼骨图讨论列出了促成因素:队列服务有固定的内存上限;没有告警在内存将满前预警;最近一项变更增加了每次提交的大小;容量计划中没有包含截止日期的高峰。

团队确定了三项行动:提高内存上限并测试新的峰值,在容量达到 70% 时增加告警,并编写一篇已知错误文章,使服务台可以看到变通办法和修复的状态。他们还把截止日期日历加入容量评审。服务负责人向领导层展示,这个问题在三个月内造成了约 15 小时的学生干扰和九次值班打扰,这项工作被排在一项次要功能之前。

变化在于:下一个截止日期平安度过,告警在 72% 时触发了一次,给出了采取行动的时间。仍然困难的是:上限的变更只是权宜之计,因为队列服务需要为更大的文件重新设计,这与下学期的路线图相竞争;代价数字是根据工单时间得出的估算;而且评审没有查看此前的大小变更是否经过了妥善测试。负责人把重新设计记为仍未关闭的问题,并设定了评审日期。

四种视角

产品与交付团队

把问题行动项当作你待办事项列表的一部分。在设计中修复原因,增加能发现已知故障的测试和告警,并为评审作贡献。不要把问题只交给运维。

服务与运维团队

记录规律和已知错误,并把关于代价和复发的数据带到规划中。保持变通办法有文档且易于查找。开展让人们感到安全而愿意参加的评审。

领导层与治理

要求查看反复出现的事件及其代价,并保护用于修复它们的容量。从评审的讨论方式中观察是否存在对责备的恐惧。跟踪未关闭问题的账龄。

客户与用户

当反复出现的问题有了原因和修复时,你应当得到通知。如果你两次报告同一个问题,请说明。问问针对它做了什么。

敏捷、AI、自动化与分析

敏捷

把问题行动项放在与功能相同的待办事项列表上,与干系人一起评审,并持续交付小的修复。注意:如果问题工作总被推后到功能之后,待办事项列表就会增长,事件仍会继续;请商定受保护的容量比例。

AI

AI 可以对事件分组、将其与变更关联、建议候选原因,并根据时间线起草事后复盘,需要人工核对。为每种用法指定负责人。注意:AI 可能编造原因或夸大规律;把它的建议当作假设,并对照数据加以检验。见主题 5.2 — AIOps 和主题 5.4 — 面向事件、知识与变更的生成式 AI。

自动化

自动化检测复发、根据规律创建问题记录,以及经过测试的变通办法,带有日志和限制。注意:自动化的变通办法可能掩盖不断恶化的问题;跟踪它触发的频率,并设定升级的阈值。见主题 6.6 — 运行手册自动化与自动修复。

分析

查看复发率、未关闭问题的账龄和成本,以及与已知问题关联的事件所占比例。注意:已关闭问题的数量可以通过提前关闭或拆分问题来钻空子;要检查事件是否真的下降了。见《服务管理度量》一书和主题 7.3 — 度量与报告。

常见失败模式

  • 修复了事件,却从不修复原因。 变通办法变成了永久性的。出现规律时开立问题。
  • 寻找单一根本原因。 团队停在一个方便的答案上。列出促成因素,并选择改变哪些。
  • 责备。 人们隐瞒错误。开展无责评审并跟踪系统层面的改变。
  • 有报告而无负责人。 行动项被列出却没人做。指定负责人、日期并评审。
  • 没有展示代价。 问题输给了功能。统计复发的代价。
  • 已知错误难以找到。 响应人员从头开始。保留一个可搜索的地方。
  • 未经检查就关闭。 修复并不奏效。关闭之前确认事件已停止。

成熟度模型

维度 起步 发展 标准化 管理 协同
识别 只在大事件之后 评审了一些重复事件 定期的规律评审开立问题 主动利用趋势和险情 自动并跨服务发现问题
分析 凭猜测 非正式的方法 按问题类型使用标准方法 评审方法的质量 在团队和合作伙伴之间共享分析
已知错误 在人们脑海里 有一些文档 与变通办法一起记录在易找的地方 评审使用情况和准确性 跨服务与自动化和知识相联
行动与学习 责备且行动项丢失 偶尔跟进 待办事项列表上有负责人的行动项,无责评审 度量复发和行动项完成情况 学习在整个组织中共享并应用

检查清单

  • 我们定期评审事件中的重复。
  • 我们保留一份带有负责人和成本的可见问题清单。
  • 已知错误和变通办法记录在易于查找的地方。
  • 评审是无责的,并列出促成因素。
  • 每项行动都有负责人、日期和检查完成的办法。
  • 问题工作在待办事项列表上有受保护的容量。
  • 我们在关闭问题之前确认修复。
  • 用于分析的 AI 有负责人和抽样评审。

AI 提示词

找出重复的事件。

下面是一份事件清单,包含日期、服务、简短描述和解决办法,已去除姓名:[粘贴清单]。
请把看起来是重复的事件分组,说明它们的共同点,并为每组列出两个用于调查的问题。不要指明原因。标出你不确定的分组。
请列出你不确定的事项。

把一次评审转化为促成因素清单。

这是一份事后复盘草稿:[粘贴,已去除姓名]。
请按类别(技术、流程、信息、人员与工作负荷、供应商)列出促成因素,为每项引用原文,并列出草稿对每一项没有说明的内容。不要归咎于人,也不要添加原因。
请列出你不确定的事项。

估算复发的代价。

对于问题 [名称],我们有这些记录:事件数量、每起的持续时间、受影响的用户、值班打扰:[粘贴数据]。
请计算总时数、每起事件的时数和每月的时数,并展示每一步。说明要作出公平的成本估算还缺少哪些数据。不要猜测缺失的数字。
请列出你不确定的事项。

AI 技能

主要来源

  • Sidney Dekker,The Field Guide to Understanding "Human Error":关于为什么责备个人行不通,以及应转而关注什么。
  • Betsy Beyer 等(编),Site Reliability Engineering(2016),关于事后复盘文化的章节,可在 sre.google 免费获取。
  • PeopleCert, ITIL certification pages:所有者对问题管理实践的描述。
  • Wikipedia, "Root-cause analysis" 和 "Postmortem documentation":对方法和文档的概述。

参考文献

  1. Root-cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root-cause_analysis
  2. Known error — Wikipedia — https://en.wikipedia.org/wiki/Known_error
  3. Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
  4. Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
  5. Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
  6. Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
  7. Pareto principle — Wikipedia — https://en.wikipedia.org/wiki/Pareto_principle
  8. Swiss cheese model — Wikipedia — https://en.wikipedia.org/wiki/Swiss_cheese_model
  9. Just culture — Wikipedia — https://en.wikipedia.org/wiki/Just_culture
  10. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  11. Technical debt — Wikipedia — https://en.wikipedia.org/wiki/Technical_debt