为什么这很重要

大多数事件都很小:一块故障的磁盘、一次糟糕的发布、一份过期的证书。少数则不然。数据中心断电一天。云区域失效。勒索软件加密了主要系统。供应商倒闭。一场大流行病使员工无法到办公室。像这样的事件威胁的是整个组织,而不只是某项服务,而且它们很少发生,以至于人们忘了为之做准备。

准备是一种保险,有一个特别之处:它的价值只在你需要它的那一天才显现,而从未试过的计划很可能行不通。从未恢复过的备份最后发现是空的。从未演练过的故障切换要花一天而不是一小时。通讯录里列的是已经离职的人。练习过的团队在演练中发现问题,而不是在危机中。

本主题解释如何决定保护什么,如何设定恢复目标,如何规划和演练,以及如何合理地纳入 AI 和自动化。在 ITIL 4 中,这项实践叫服务连续性管理。在更广泛的使用中,你还会遇到业务连续性管理、灾难恢复和韧性。它们有重叠,本主题描述它们如何配合。它与可用性(主题 3.11 — 可用性、容量与性能)、事件管理(主题 3.2 — 事件管理)和信息安全(主题 3.13 — 信息安全管理)相联系。

核心概念

服务连续性。 在 ITIL 4 中,指确保在发生灾难时,服务的可用性和性能仍维持在足够的水平。这项实践包括评估风险和影响、规划恢复以及演练。

业务连续性与灾难恢复。 维基百科描述的业务连续性规划(business continuity planning),涵盖组织如何在中断期间和之后保持关键职能运行,或迅速恢复它们。灾难恢复是其中的 IT 部分:恢复系统、数据和基础设施。业务连续性问“我们如何继续为客户服务?”;灾难恢复问“我们如何让系统恢复?”。ISO 22301 是业务连续性管理体系的国际标准,维基百科有描述;它与 ISO/IEC 20000 的关系见主题 1.8 — 服务管理框架与标准。

业务影响分析(BIA)。 研究如果每项职能或服务在给定时间内不可用,组织会发生什么。它识别哪些服务是关键的,以及必须多快恢复。分析需要业务方参与,而不只是 IT,因为只有业务方才知道损失一小时或一天的影响。

恢复时间目标(RTO)。 中断之后恢复服务的目标最长时间。维基百科在 IT 灾难恢复条目下描述了它。它来自影响分析:如果一小时的停机代价很大,RTO 就要短,解决方案也很昂贵。

恢复点目标(RPO)。 可接受的最大数据损失量,以时间度量。15 分钟的 RPO 意味着恢复之后,缺失的数据不超过 15 分钟。它决定了数据必须多频繁地复制。

成本与取舍。 更短的 RTO 和 RPO 花费更多:更多冗余、更多复制、更多测试。向决策者展示每个选项的成本,并记录决定。见主题 4.5 — 财务管理与 FinOps。

备份与复制。 备份是为在数据丢失或损坏后恢复而保留的副本。复制则在别处持续更新第二份副本。维基百科对两者均有描述。复制不能代替备份:如果损坏或勒索软件的加密被复制,副本也就受损了。至少保留一份无法从生产环境改动的备份,并测试从中恢复。

恢复站点与模式。 选项范围很广,从始终运行的备用站点,到数小时内可以启动的站点,再到从备份恢复到新环境。云服务使若干模式变得更容易,比如用代码重建基础设施。见主题 6.3 — 基础设施即代码与 GitOps。维基百科描述了备份站点(backup site)。

依赖。 关键服务依赖其他东西:身份、网络、DNS、供应商、证书和人员。恢复计划必须遵循这些依赖,并安排恢复的顺序。许多失败的恢复都卡在一个被遗忘的依赖上,比如存储恢复其他系统所需密码的那个系统。

计划与剧本。 书面的、简明的说明,写明谁在什么顺序做什么,联系谁。它们应存放在系统宕机时仍能读到的地方,包括离线副本。角色必须指定,并有代理人。

演练。 演习范围从对某个场景的走查讨论,到模拟,再到真实的故障切换或恢复。维基百科描述了混沌工程(chaos engineering),在受控条件下有意引入故障以发现弱点。从小而安全的开始,逐步增加真实性。记录发生了什么,并修复所学到的问题。

危机管理与沟通。 重大中断需要领导层的决策、与员工、客户、监管机构和公众的沟通,以及跨职能的协调。维基百科关于危机管理(crisis management)的文章描述了这一领域。事先决定由谁发言以及如何发言。见主题 3.2 — 事件管理。

网络事件。 勒索软件和其他攻击现在是严重中断的主要原因。维基百科把勒索软件(ransomware)描述为加密数据并索要付款的恶意软件。从这类攻击中恢复需要干净的备份、隔离受影响的系统、重建可信的基础设施,以及与安全团队协调。请核实适用于你的法律和建议,包括有关报告的要求;本指南不提供法律建议。

供应商。 你的连续性取决于供应商的连续性。询问他们的计划,并在可能时把他们纳入演练。见主题 3.14 — 供应商管理。

这些视角如何契合。 连续性是敏捷迭代与应急准备相遇的地方:每次演练之后改进计划。AI 可以帮助起草计划和场景,需要人工审查,但在危机期间不能依赖它。自动化重建环境并执行故障切换。分析为影响分析提供信息,并跟踪演练结果。

最佳实践

  1. 从业务影响开始。 问业务方,每项服务的中断在几分钟、几小时和几天内会造成什么代价。对服务排序,并相应地设定 RTO 和 RPO。在重大变化之后重新审视分析。
  2. 先保护关键的少数。 把精力集中在丢失后会严重损害组织的服务上。对其余服务提供较轻的安排。
  3. 梳理依赖。 对每项关键服务,列出它运行和恢复所需要的东西,包括身份、网络、DNS 和供应商。规划恢复的顺序。
  4. 保留一份不可变且经过测试的备份。 至少保留一份无法从生产环境修改或删除的副本,并定期从中恢复,以证明其有效。
  5. 编写简短、可用的计划。 把角色、第一步、联系人和决策点放在几页纸上。把副本离线保存,并交给需要的人。
  6. 指定角色和代理人。 对危机中的每个角色,指定一位主要负责人和至少一位替补。人员换岗时更新名单。
  7. 分步骤演练。 从对场景的讨论开始,进行到模拟,再到对恢复和故障切换的受控真实测试。记录时间和问题。
  8. 修复演练发现的问题。 把发现当作带负责人和日期的待办事项条目。在下一次演练时检查是否已完成。
  9. 纳入供应商和客户。 向关键供应商询问其连续性安排,并测试连接。与客户商定他们可以接受哪种降级的服务。
  10. 规划沟通。 准备好由谁通知谁、通过哪些渠道、使用哪些模板,包括在你的系统宕机时仍可用的渠道。

与团队讨论的问题

如果有三项服务不可用一周,对我们伤害最大,是哪三项?我们怎么知道? 问业务方,而不只是 IT。预期会有不同的答案,这是一个有用的起点。追问:为这三项各安排一次简短的影响讨论。

我们上一次从备份恢复是什么时候?花了多长时间? 询问日期和结果。预期会听到“我们从没试过”或“只试了一个测试文件”。追问:安排在安全环境中对一个重要系统做一次完整恢复。

我们的恢复依赖哪些没有测试过的东西,比如身份系统、DNS 或某个人? 为一项服务画出这条链。寻找循环依赖。追问:选择一个依赖去测试。

如果我们平常的沟通系统宕机,我们如何联系彼此和客户? 许多计划假定有电子邮件和聊天。问问通讯录和带外渠道。追问:测试一次电话树。

在勒索软件攻击的第一个小时,我们会做什么?由谁决定? 进行一次简短的场景讨论。预期在隔离系统和联系当局方面会有分歧。追问:与安全团队一起写一份一页纸的第一小时指南。

AI 能在哪里帮助我们准备或响应?哪里必须依赖预先准备的人工计划? AI 可以起草场景、检查计划的缺口并总结日志。在中断期间,AI 服务本身也可能不可用。问问计划假定了什么。追问:检查关键步骤是否不依赖 AI 服务。

实践:一个服务管理示例

一家区域配电公司的控制室系统向操作员显示电网的状态,必须在故障后两小时内恢复。该公司的灾难恢复计划是这样规定的。它写于四年前,上一次测试只是一次纸面演练。

一位新的服务连续性经理要求进行一次真实测试。团队同意在一个独立的环境中,从前一天晚上的备份恢复控制室应用,由运营经理观察。恢复花了十一个小时,而不是两个小时。出现了三个问题:备份包含了应用的文件,却不包含它的配置数据库,后者由另一个团队保管;恢复所需的密码存放在一个属于同一数据中心的保险库里;而了解恢复站点网络设置的那个人正在休长假,且没有代理人。

团队在三个月内解决了这些问题。他们把配置数据库加入备份计划,建立了一个离线保存在密封信封中、同时存放在独立云账户里的应急凭据库,并培训了另外两名工程师掌握恢复站点。第二次测试在 2 小时 40 分钟内恢复了应用。第三次是故意不提前通知就开始的,用时 1 小时 50 分钟。

变化在于:目标在实践中达成了,计划成了人们用过的文档。仍然困难的是:测试使用的是生产数据的副本,并不包括与现场设备的连接,那只能与电网运营商一起测试;组织没有演练过整个数据中心的丧失,只演练了一个应用;保留恢复站点的成本每年都受到质疑。经理保留演练日历,并对照影响分析来呈现成本。

四种视角

产品与交付团队

把恢复纳入设计:用代码重建、备份数据和配置、避免隐藏的依赖。参加演练,并修复演练的发现。

服务与运维团队

了解你的角色和代理人,保持运行手册最新,并演练恢复和故障切换。记录各项事情实际花费的时间,并告诉负责人。

领导层与治理

与业务方一起决定恢复目标,并为其所需出资。参与演练,包括决策和沟通。要求查看测试的结果,而不只是计划。

客户与用户

问问有哪些连续性安排保护着你所依赖的服务,并商定你可以接受哪种降级服务。为你的关键需求保留自己的应急办法。

敏捷、AI、自动化与分析

敏捷

小步改进连续性:一次一个依赖,一次一个恢复测试,一次一个修复,并与干系人一起评审。注意:不要把所有连续性工作都推迟到一个大项目中;要及早并经常演练。

AI

AI 可以帮助起草场景、检查计划的缺口,并在演练之后总结日志,需要人工审查。指定负责人。注意:AI 助手在危机中可能不可用,或给出不可靠的指令;把基本程序保留在朴素、经过测试的文档中。见主题 5.1 — 服务管理中的 AI。

自动化

自动化环境重建、备份验证和故障切换,带有日志和保障措施,并定期测试。注意:自动化可能迅速扩散损害,比如连同生产数据一起删除备份;用独立的凭据和控制来保护备份系统。见主题 6.3 — 基础设施即代码与 GitOps。

分析

跟踪备份成功率、对照 RTO 的恢复测试时间、达成的 RPO、已关闭的演练发现,以及依赖覆盖情况。注意:高备份成功率并不能说明数据是否可以恢复;要统计恢复次数。见《服务管理度量》一书和主题 7.3 — 度量与报告。

常见失败模式

  • 计划从未测试。 需要时失败。定期演练和恢复。
  • 备份从未恢复。 它们是空的或不完整的。测试恢复并核实内容。
  • 隐藏的依赖。 恢复卡在身份或 DNS 上。梳理并测试依赖。
  • 攻击者可以改动的备份。 勒索软件把它们加密了。保留一份不可变的副本。
  • 只由 IT 规划。 业务方没有参与。与业务负责人一起做影响分析。
  • 计划只存在于已宕机的系统上。 没人能读到它。保留离线副本。
  • 没有代理人。 一个人掌握着知识。指定替补并培训他们。

成熟度模型

维度 起步 发展 标准化 管理 协同
影响与目标 未定义 列出关键服务 根据业务影响设定 RTO 和 RPO 结合成本和结果评审目标 目标在整个企业和供应商之间协调
备份与恢复 备份未经验证 备份在运行 测试并计时恢复 跟踪并改进恢复表现 恢复自动化并持续测试
计划 没有或已过时 为主要服务编写 简明的计划,有指定的角色和代理人 每次演练之后更新计划 计划跨职能、供应商和客户整合
演练 无 纸面走查 定期模拟和真实恢复 将发现跟踪到关闭 演练包括合作伙伴和真实的场景

检查清单

  • 我们对关键服务完成了业务影响分析。
  • 每项关键服务都有与其负责人商定的 RTO 和 RPO。
  • 依赖,包括身份和 DNS,已被梳理。
  • 至少有一份备份是不可变的,并且已测试过恢复。
  • 计划简短、最新,并且也存放在离线处。
  • 角色和代理人已指定。
  • 我们定期演练,并将发现跟踪到关闭。
  • 已知供应商的连续性安排,并尽可能测试过。

AI 提示词

检查计划中的缺口。

这是我们 [服务] 的连续性计划:[粘贴]。这是它的依赖清单:[粘贴]。
请列出计划未提及的依赖、依赖于没有指定代理人的某个人的步骤,以及假定了一个可能宕机的系统的步骤。不要改写计划。
请列出你不确定的事项。

设计场景演练。

我们的背景:[组织类型、关键服务]。场景主题:[例如,勒索软件、数据中心丧失]。
请起草一份 90 分钟的讨论式演练,包含事件时间线、六个决策点、给各角色的问题,以及要记录的内容。除非我提供,否则不要使用真实的姓名或系统。
请列出你不确定的事项。

总结恢复测试结果。

这是一次恢复测试的笔记:[粘贴,附时间和问题]。
请列出耗时最长的事项、失败的事项、发现的依赖,以及可考虑的行动,并为每项注明负责人角色。不要编造原因。
请列出你不确定的事项。

AI 技能

主要来源

  • ISO 22301, Security and resilience — Business continuity management systems:国际标准;请从出版方获取当前版本阅读。
  • PeopleCert, ITIL certification pages:所有者对服务连续性管理实践的描述。
  • Wikipedia, "Business continuity planning" 和 "IT disaster recovery":对理念和术语的概述。
  • Wikipedia, "Chaos engineering":有意测试故障的实践。

参考文献

  1. Business continuity planning — Wikipedia — https://en.wikipedia.org/wiki/Business_continuity_planning
  2. IT disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/IT_disaster_recovery
  3. Disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/Disaster_recovery
  4. ISO 22301 — Wikipedia — https://en.wikipedia.org/wiki/ISO_22301
  5. Backup — Wikipedia — https://en.wikipedia.org/wiki/Backup
  6. Backup site — Wikipedia — https://en.wikipedia.org/wiki/Backup_site
  7. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  8. Crisis management — Wikipedia — https://en.wikipedia.org/wiki/Crisis_management
  9. Ransomware — Wikipedia — https://en.wikipedia.org/wiki/Ransomware
  10. Replication (computing) — Wikipedia — https://en.wikipedia.org/wiki/Replication_(computing)
  11. Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management