为什么这很重要

事件是对服务的计划外中断,或服务质量的下降。事件发生时,相关人员处于压力之下,信息不完整,时钟还在走。最初十分钟里作出的决定,往往决定了事件持续一小时还是六小时。

处理事件处理得好的组织不依赖英雄。他们已经约定了如何判断某件事有多严重、谁来牵头、谁与用户沟通、如何升级,以及何时停止调查并采取变通办法。他们演练过。处理得糟糕的组织每次都临场发挥,在事件进行当中争论优先级,却发现唯一了解系统的那个人正在休假。

本主题将事件管理作为一项实践来描述:定义、角色、严重程度、沟通和评审。它以额外的结构来对待重大事件,并涵盖 AI 和自动化在哪些方面可以帮忙、在哪些方面可能帮倒忙。它与问题管理(主题 3.3 — 问题管理)并列,后者寻找根本原因;也与监控(主题 3.10 — 监控与事态管理)并列,后者常常是发现事件的手段。

核心概念

事件。 在 ITIL 4 中,指对服务的计划外中断或服务质量的下降。维基百科关于事件管理(incident management)的文章描述了 IT 服务管理中的这项实践。事件在任何用户察觉之前就可能存在,例如监控显示某块磁盘正在出故障。

首先恢复服务。 目标是把服务恢复到正常,而不是找出根本原因。能恢复服务的变通办法是一个好结果;根本原因留给问题管理。在服务宕机时还去深挖原因的团队,会延长中断时间。

变通办法。 在不解决原因的情况下减轻或消除事件影响的解决方案,例如重新路由流量、重启组件,或切换到手工流程。已知错误和变通办法如何被跟踪,见主题 3.3 — 问题管理。

严重程度与优先级。 严重程度描述对用户和业务的影响,例如有多少人受影响、受影响多严重。优先级则加上紧迫性,例如截止日期。许多组织使用一个小的等级范围,例如四级,并为每一级给出定义和预期的响应。定义应当使用可观察的事实(“超过 100 名用户无法付款”),而不是感觉。

重大事件。 重大事件影响重大,需要比标准流程更快、更协调的响应。各组织自行定义阈值。重大事件通常有一位指定的事件负责人、一位沟通负责人,以及固定节奏的更新。

角色。 事件负责人负责协调和决策;技术响应人员负责诊断和修复;沟通负责人让干系人和用户知情;记录员记录做了什么以及何时做的。在小事件中,一个人可以身兼数职。应急管理中使用、维基百科有描述的事件指挥系统(Incident Command System),影响了许多技术组织所采用的结构。

升级。 引入更多技能或更多权限。职能升级把事件转给具有相应专业知识的人。层级升级则引入可以作决定或提供资源的经理。清晰的标准,例如“一级严重事件 30 分钟无进展”,使升级成为常规做法,而不是失败的标志。

值班。 让人们在正常工作时间之外也能联系得到的安排。良好的值班实践包括负荷上限、清晰的轮值表、运行手册和补偿。见主题 2.6 — 站点可靠性工程。维基百科描述的告警疲劳(alarm fatigue)现象,会让人们忽略过于频繁或无法操作的告警。

沟通。 用户和干系人需要知道什么受到影响、你们正在做什么,以及他们何时能再收到消息。频繁、平实的更新可以减少重复联系和焦虑。维基百科关于危机沟通的文章给出了一般原则。状态页面、内部频道和给重点客户的直接消息,服务于不同的受众。

事件记录。 一张工单或记录,包含开始时间、症状、行动、决策和结束时间。该记录支持评审,并为改进提供数据。事件进行当中保留的时间线,比事后重建的更准确。

评审。 重大事件之后,召开无责评审,审视发生了什么、什么起了帮助作用、什么拖慢了响应,以及要改变什么。发现交给问题管理和改进待办事项列表(backlog)。见主题 3.3 — 问题管理。

度量。 检测时间、响应时间和恢复时间很常见,通常总结为平均恢复时间(MTTR,维基百科对此有描述)。平均值会掩盖事件之间的巨大差异,而且开始和结束时间的设定方式可以被操纵。请使用分布,并查看单个事件。见《服务管理度量》一书。

这些视角如何契合。 敏捷实践把每次评审当作反馈,并让改进保持小而持续。AI 可以总结时间线、建议类似的过往事件并起草更新,同时有人负责。自动化执行安全、被充分理解的步骤,如重启和故障切换。分析显示复发的规律。

最佳实践

  1. 用可观察的事实定义严重程度等级。 写明每一级的含义、通知谁以及多快。在遇到难以分类的事件之后,评审这些定义。
  2. 指定角色并加以演练。 商定谁牵头、谁沟通、谁记录。通过演练进行排练,使第一次不是真正的危机。见主题 3.12 — 服务连续性管理。
  3. 先恢复,后调查。 设定一条规则:只要有安全可行的变通办法,就应用它。记录事件交给问题管理,然后继续前进。
  4. 保留一份实时时间线。 把行动和决策连同时间,一边发生一边记录在共享的地方。这能避免争论,并加快评审。
  5. 早升级,且不责备。 定义升级的触发条件,并把使用它们视为良好实践。晚升级的人是害怕批评,所以要消除批评。
  6. 按节奏沟通。 为每个严重程度商定更新间隔,即使没有新消息也要发送更新,并说明这一点。使用平实的语言。
  7. 给响应人员所需要的东西。 维护运行手册、访问权限、仪表板和联系人清单。在需要用到的那个夜晚之前,先测试访问权限。
  8. 保护人。 限制值班负荷,长时间的事件要交接,并确保响应人员休息。疲惫的人作出更糟的决定。
  9. 无责地评审,并跟进落实。 撰写简短的报告,包含时间线、促成因素以及带负责人和日期的行动项。跟踪行动项直至完成。见主题 3.3 — 问题管理。
  10. 把教训反馈回去。 更新运行手册、监控和设计。与其他团队分享所学,并检查重复发生的事件是否减少。

与团队讨论的问题

我们如何判断一起事件有多严重?在事件进行当中是否曾为此争论过? 对严重程度的分歧会浪费时间。请要求举出近期的例子。你可能会听到答案取决于是谁在问。追问:用可观察的事实重写某一级别的定义。

凌晨 3 点由谁牵头处理事件?他们怎么知道自己是负责人? 领导不明确是混乱的常见原因。问问上一次重大事件中是谁作的决定。预期会得到不同的答案。追问:商定如何选定并宣布负责人。

事件期间用户从我们这里听到什么?多久听到一次? 把用户在上一次事件中听到的内容与他们想要的内容作比较。预期会有长时间的沉默。追问:选择一个更新间隔和一个渠道,并起草一个模板。

我们有哪些升级晚了?为什么? 这个问题探究恐惧和习惯。人们可能因怕显得无能,或怕吵醒别人而拖延。问问什么能使升级更容易。追问:写一条规则,例如“30 分钟无进展即升级”。

我们上一次事件评审说应该改变什么?实际改变了什么? 这个问题检验跟进落实的情况。询问行动项及其状态。预期有些已经悬而未决数月。追问:指定负责人和日期,并在一个月后评审。

事件期间 AI 能在哪里帮上忙?哪里必须由人来决定? AI 可以总结时间线、搜索过往事件并起草更新。它无法承担责任。问问有哪些行动 AI 可以不经批准就采取,如果有的话。追问:选择一种低风险的用法,并商定如何检查其输出。

实践:一个服务管理示例

一家全国连锁药房的数字团队运行着一款让客户订购重复处方的应用。一个周五晚上,约 30% 的用户订单开始失败。值班工程师看到来自某个数据库的错误,并按轮值表联系了事件负责人。负责人因用户无法完成核心任务,宣布发生二级严重事件,指派了一位沟通负责人,并开始记录时间线。

15 分钟内,团队怀疑是当天下午部署的一项数据库变更。负责人询问回滚是否安全;作出该变更的工程师确认安全。团队回滚后,订单在五分钟内恢复。从首次告警到恢复,总共用时 47 分钟。沟通负责人在 20 分钟时在状态页面上发布了消息,35 分钟时又发布了一次,恢复时发布了最终更新,并告诉客户服务团队该怎么说。

下一周,团队举行了无责评审。时间线显示,发现事件依赖于用户的投诉,因为没有告警覆盖订单失败;该变更经过了评审,但测试环境没有真实的数据;而第一次更新比约定的间隔慢,因为沟通负责人不确定状态页面可以说什么。团队增加了针对订单失败率的告警,改进了测试数据,并编写了状态页面模板。

变化在于:下一次类似的事件在三分钟内就被告警发现了。仍然困难的是:测试数据出于正当理由不含任何真实的患者信息,这限制了它的真实程度;轮值表中能安全回滚数据库的工程师仍然很少;评审的行动清单有十二项,而团队只有时间做五项。他们按风险选择,并把其余的连同日期放进待办事项列表。

四种视角

产品与交付团队

为恢复而构建:使变更可回退,增加能显示用户影响的告警和日志,并边做边写运行手册。参与评审,并在设计上修复原因。

服务与运维团队

了解自己的角色,加以演练,并保留时间线。早升级,稳定沟通,并相互照应。把你的所学带到评审中,并用它来改进运行手册和监控。

领导层与治理

事先约定严重程度的定义和期望,并克制归咎于人的冲动。在重大事件期间,支持负责人,并只通过约定的渠道索取更新。为后续行动项出资。

客户与用户

你应当被及时告知什么受到影响、正在做什么,以及你何时能再收到消息。报告你看到的情况,并附上细节。重大事件之后,期待得到关于改变了什么的清楚说明。

敏捷、AI、自动化与分析

敏捷

把事件评审视为驱动改进的短反馈回路:对运行手册、告警和设计做小改动,快速完成,并让干系人知情。注意:一份没人完成的长行动清单,不如一份短而做完的清单。

AI

AI 可以起草更新、总结时间线和聊天记录,并找出类似的早先事件。事件负责人仍然负责,AI 的输出只是建议。注意:AI 可能编造原因或时间,未经审阅就发出的自动草拟更新可能误导客户;发送前务必检查。见主题 5.4 — 面向事件、知识与变更的生成式 AI。

自动化

自动化安全、可重复的响应步骤,如收集诊断数据、呼叫合适的人,以及执行经过评审的重启,带有日志和限制。注意:在事件期间采取行动的自动化可能使事件更糟;保留手动停止,并在安全环境中测试。见主题 6.6 — 运行手册自动化与自动修复。

分析

查看检测、响应和恢复时间,查看每一项的分布,以及重复发生的事件。注意:平均值会掩盖最糟糕的事件,开始和结束的定义各不相同,用来评判团队的度量会招致对时间戳的操纵;也要研究单个事件。见《服务管理度量》一书和主题 7.3 — 度量与报告。

常见失败模式

  • 严重程度在事件期间被争论。 时间被浪费。用可观察的事实编写定义。
  • 没有明确的负责人。 人人行动,无人决策。指定负责人并宣布。
  • 服务宕机时还在调查。 恢复被延迟。先应用安全的变通办法。
  • 对用户沉默。 焦虑和重复联系上升。按节奏更新。
  • 评审中责备。 人们隐瞒错误。开展无责评审并跟踪行动项。
  • 依赖英雄。 一个人修复一切。分享知识并编写运行手册。
  • 没有限制的自动行动。 某个自动化使事件恶化。增加限制、日志和手动停止。

成熟度模型

维度 起步 发展 标准化 管理 协同
严重程度与流程 临时的 非正式的等级 定义了带响应期望的等级 用数据评审等级 流程在各服务和合作伙伴之间调整
角色与演练 临场发挥 指定了一些角色 角色已定义并经过演练 度量并改进演练 与供应商和客户共享演练
沟通 不规律 想起来时才更新 按严重程度设定更新节奏和渠道 评审沟通质量 在团队、客户和合作伙伴之间保持一致
学习 责备 偶尔评审 带跟踪行动的无责评审 度量并减少复发 学习在整个组织中共享

检查清单

  • 严重程度等级用可观察的事实和预期响应来定义。
  • 事件角色已指定并经过演练。
  • 升级触发条件已写下来。
  • 为重大事件保留实时时间线。
  • 为每个严重程度设定了更新间隔和渠道。
  • 值班负荷受到限制并被监控。
  • 评审是无责的,行动项被跟踪到完成。
  • 事件中使用的 AI 和自动化有负责人、限制和评审。

AI 提示词

为评审总结事件时间线。

这是一次事件的聊天消息和笔记,已去除时间和姓名:[粘贴文本]。
请生成关键事件的时间线、决策清单及其决策者(仅按角色)、什么起了帮助作用、什么拖慢了我们,以及用于评审的问题。只使用该文本,并标出任何不确定的内容。
请列出你不确定的事项。

起草供审阅的状态更新。

我们已知的事实:[粘贴已确认的事实]。我们不知道的事实:[列出]。下一次更新时间:[时间]。
请起草一条不超过 80 字的通俗状态更新,说明什么受到影响、我们正在做什么,以及下一次更新的时间。不要猜测原因,也不要给出事实中没有的恢复时间估计。
请列出你不确定的事项。

检查严重程度定义。

我们的严重程度定义:[粘贴]。这是三起过去的事件及其影响:[粘贴]。
请针对每起事件,说明这些定义建议的级别,引用你所用到的措辞,并指出定义含糊之处。不要修改定义。
请列出你不确定的事项。

AI 技能

主要来源

  • Betsy Beyer 等(编),Site Reliability Engineering(2016),关于事件响应和事后复盘的章节,可在 sre.google 免费获取:来自大型运营商的实用指导。
  • PeopleCert, ITIL certification pages:所有者对事件管理实践的描述。
  • Wikipedia, "Incident management":对该实践的概述。
  • Wikipedia, "Incident Command System":影响了技术事件角色的应急管理模型。

参考文献

  1. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  2. Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
  3. Mean time to recovery — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_to_recovery
  4. Escalation — Wikipedia — https://en.wikipedia.org/wiki/Escalation
  5. Crisis communication — Wikipedia — https://en.wikipedia.org/wiki/Crisis_communication
  6. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  7. Workaround — Wikipedia — https://en.wikipedia.org/wiki/Workaround
  8. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  9. Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/