服务连续性管理
服务连续性管理使组织在严重中断之后,能够保持关键服务运行,或在约定的时间内将其恢复;当恢复目标来自业务影响,计划经过演练,并且备份通过实际恢复来证明时,它就能奏效。
为什么这很重要
大多数事件都很小:一块故障的磁盘、一次糟糕的发布、一份过期的证书。少数则不然。数据中心断电一天。云区域失效。勒索软件加密了主要系统。供应商倒闭。一场大流行病使员工无法到办公室。像这样的事件威胁的是整个组织,而不只是某项服务,而且它们很少发生,以至于人们忘了为之做准备。
准备是一种保险,有一个特别之处:它的价值只在你需要它的那一天才显现,而从未试过的计划很可能行不通。从未恢复过的备份最后发现是空的。从未演练过的故障切换要花一天而不是一小时。通讯录里列的是已经离职的人。练习过的团队在演练中发现问题,而不是在危机中。
本主题解释如何决定保护什么,如何设定恢复目标,如何规划和演练,以及如何合理地纳入 AI 和自动化。在 ITIL 4 中,这项实践叫服务连续性管理。在更广泛的使用中,你还会遇到业务连续性管理、灾难恢复和韧性。它们有重叠,本主题描述它们如何配合。它与可用性(主题 3.11 — 可用性、容量与性能)、事件管理(主题 3.2 — 事件管理)和信息安全(主题 3.13 — 信息安全管理)相联系。
核心概念
服务连续性。 在 ITIL 4 中,指确保在发生灾难时,服务的可用性和性能仍维持在足够的水平。这项实践包括评估风险和影响、规划恢复以及演练。
业务连续性与灾难恢复。 维基百科描述的业务连续性规划(business continuity planning),涵盖组织如何在中断期间和之后保持关键职能运行,或迅速恢复它们。灾难恢复是其中的 IT 部分:恢复系统、数据和基础设施。业务连续性问“我们如何继续为客户服务?”;灾难恢复问“我们如何让系统恢复?”。ISO 22301 是业务连续性管理体系的国际标准,维基百科有描述;它与 ISO/IEC 20000 的关系见主题 1.8 — 服务管理框架与标准。
业务影响分析(BIA)。 研究如果每项职能或服务在给定时间内不可用,组织会发生什么。它识别哪些服务是关键的,以及必须多快恢复。分析需要业务方参与,而不只是 IT,因为只有业务方才知道损失一小时或一天的影响。
恢复时间目标(RTO)。 中断之后恢复服务的目标最长时间。维基百科在 IT 灾难恢复条目下描述了它。它来自影响分析:如果一小时的停机代价很大,RTO 就要短,解决方案也很昂贵。
恢复点目标(RPO)。 可接受的最大数据损失量,以时间度量。15 分钟的 RPO 意味着恢复之后,缺失的数据不超过 15 分钟。它决定了数据必须多频繁地复制。
成本与取舍。 更短的 RTO 和 RPO 花费更多:更多冗余、更多复制、更多测试。向决策者展示每个选项的成本,并记录决定。见主题 4.5 — 财务管理与 FinOps。
备份与复制。 备份是为在数据丢失或损坏后恢复而保留的副本。复制则在别处持续更新第二份副本。维基百科对两者均有描述。复制不能代替备份:如果损坏或勒索软件的加密被复制,副本也就受损了。至少保留一份无法从生产环境改动的备份,并测试从中恢复。
恢复站点与模式。 选项范围很广,从始终运行的备用站点,到数小时内可以启动的站点,再到从备份恢复到新环境。云服务使若干模式变得更容易,比如用代码重建基础设施。见主题 6.3 — 基础设施即代码与 GitOps。维基百科描述了备份站点(backup site)。
依赖。 关键服务依赖其他东西:身份、网络、DNS、供应商、证书和人员。恢复计划必须遵循这些依赖,并安排恢复的顺序。许多失败的恢复都卡在一个被遗忘的依赖上,比如存储恢复其他系统所需密码的那个系统。
计划与剧本。 书面的、简明的说明,写明谁在什么顺序做什么,联系谁。它们应存放在系统宕机时仍能读到的地方,包括离线副本。角色必须指定,并有代理人。
演练。 演习范围从对某个场景的走查讨论,到模拟,再到真实的故障切换或恢复。维基百科描述了混沌工程(chaos engineering),在受控条件下有意引入故障以发现弱点。从小而安全的开始,逐步增加真实性。记录发生了什么,并修复所学到的问题。
危机管理与沟通。 重大中断需要领导层的决策、与员工、客户、监管机构和公众的沟通,以及跨职能的协调。维基百科关于危机管理(crisis management)的文章描述了这一领域。事先决定由谁发言以及如何发言。见主题 3.2 — 事件管理。
网络事件。 勒索软件和其他攻击现在是严重中断的主要原因。维基百科把勒索软件(ransomware)描述为加密数据并索要付款的恶意软件。从这类攻击中恢复需要干净的备份、隔离受影响的系统、重建可信的基础设施,以及与安全团队协调。请核实适用于你的法律和建议,包括有关报告的要求;本指南不提供法律建议。
供应商。 你的连续性取决于供应商的连续性。询问他们的计划,并在可能时把他们纳入演练。见主题 3.14 — 供应商管理。
这些视角如何契合。 连续性是敏捷迭代与应急准备相遇的地方:每次演练之后改进计划。AI 可以帮助起草计划和场景,需要人工审查,但在危机期间不能依赖它。自动化重建环境并执行故障切换。分析为影响分析提供信息,并跟踪演练结果。
最佳实践
- 从业务影响开始。 问业务方,每项服务的中断在几分钟、几小时和几天内会造成什么代价。对服务排序,并相应地设定 RTO 和 RPO。在重大变化之后重新审视分析。
- 先保护关键的少数。 把精力集中在丢失后会严重损害组织的服务上。对其余服务提供较轻的安排。
- 梳理依赖。 对每项关键服务,列出它运行和恢复所需要的东西,包括身份、网络、DNS 和供应商。规划恢复的顺序。
- 保留一份不可变且经过测试的备份。 至少保留一份无法从生产环境修改或删除的副本,并定期从中恢复,以证明其有效。
- 编写简短、可用的计划。 把角色、第一步、联系人和决策点放在几页纸上。把副本离线保存,并交给需要的人。
- 指定角色和代理人。 对危机中的每个角色,指定一位主要负责人和至少一位替补。人员换岗时更新名单。
- 分步骤演练。 从对场景的讨论开始,进行到模拟,再到对恢复和故障切换的受控真实测试。记录时间和问题。
- 修复演练发现的问题。 把发现当作带负责人和日期的待办事项条目。在下一次演练时检查是否已完成。
- 纳入供应商和客户。 向关键供应商询问其连续性安排,并测试连接。与客户商定他们可以接受哪种降级的服务。
- 规划沟通。 准备好由谁通知谁、通过哪些渠道、使用哪些模板,包括在你的系统宕机时仍可用的渠道。
与团队讨论的问题
如果有三项服务不可用一周,对我们伤害最大,是哪三项?我们怎么知道? 问业务方,而不只是 IT。预期会有不同的答案,这是一个有用的起点。追问:为这三项各安排一次简短的影响讨论。
我们上一次从备份恢复是什么时候?花了多长时间? 询问日期和结果。预期会听到“我们从没试过”或“只试了一个测试文件”。追问:安排在安全环境中对一个重要系统做一次完整恢复。
我们的恢复依赖哪些没有测试过的东西,比如身份系统、DNS 或某个人? 为一项服务画出这条链。寻找循环依赖。追问:选择一个依赖去测试。
如果我们平常的沟通系统宕机,我们如何联系彼此和客户? 许多计划假定有电子邮件和聊天。问问通讯录和带外渠道。追问:测试一次电话树。
在勒索软件攻击的第一个小时,我们会做什么?由谁决定? 进行一次简短的场景讨论。预期在隔离系统和联系当局方面会有分歧。追问:与安全团队一起写一份一页纸的第一小时指南。
AI 能在哪里帮助我们准备或响应?哪里必须依赖预先准备的人工计划? AI 可以起草场景、检查计划的缺口并总结日志。在中断期间,AI 服务本身也可能不可用。问问计划假定了什么。追问:检查关键步骤是否不依赖 AI 服务。
实践:一个服务管理示例
一家区域配电公司的控制室系统向操作员显示电网的状态,必须在故障后两小时内恢复。该公司的灾难恢复计划是这样规定的。它写于四年前,上一次测试只是一次纸面演练。
一位新的服务连续性经理要求进行一次真实测试。团队同意在一个独立的环境中,从前一天晚上的备份恢复控制室应用,由运营经理观察。恢复花了十一个小时,而不是两个小时。出现了三个问题:备份包含了应用的文件,却不包含它的配置数据库,后者由另一个团队保管;恢复所需的密码存放在一个属于同一数据中心的保险库里;而了解恢复站点网络设置的那个人正在休长假,且没有代理人。
团队在三个月内解决了这些问题。他们把配置数据库加入备份计划,建立了一个离线保存在密封信封中、同时存放在独立云账户里的应急凭据库,并培训了另外两名工程师掌握恢复站点。第二次测试在 2 小时 40 分钟内恢复了应用。第三次是故意不提前通知就开始的,用时 1 小时 50 分钟。
变化在于:目标在实践中达成了,计划成了人们用过的文档。仍然困难的是:测试使用的是生产数据的副本,并不包括与现场设备的连接,那只能与电网运营商一起测试;组织没有演练过整个数据中心的丧失,只演练了一个应用;保留恢复站点的成本每年都受到质疑。经理保留演练日历,并对照影响分析来呈现成本。
四种视角
产品与交付团队
把恢复纳入设计:用代码重建、备份数据和配置、避免隐藏的依赖。参加演练,并修复演练的发现。
服务与运维团队
了解你的角色和代理人,保持运行手册最新,并演练恢复和故障切换。记录各项事情实际花费的时间,并告诉负责人。
领导层与治理
与业务方一起决定恢复目标,并为其所需出资。参与演练,包括决策和沟通。要求查看测试的结果,而不只是计划。
客户与用户
问问有哪些连续性安排保护着你所依赖的服务,并商定你可以接受哪种降级服务。为你的关键需求保留自己的应急办法。
敏捷、AI、自动化与分析
敏捷
小步改进连续性:一次一个依赖,一次一个恢复测试,一次一个修复,并与干系人一起评审。注意:不要把所有连续性工作都推迟到一个大项目中;要及早并经常演练。
AI
AI 可以帮助起草场景、检查计划的缺口,并在演练之后总结日志,需要人工审查。指定负责人。注意:AI 助手在危机中可能不可用,或给出不可靠的指令;把基本程序保留在朴素、经过测试的文档中。见主题 5.1 — 服务管理中的 AI。
自动化
自动化环境重建、备份验证和故障切换,带有日志和保障措施,并定期测试。注意:自动化可能迅速扩散损害,比如连同生产数据一起删除备份;用独立的凭据和控制来保护备份系统。见主题 6.3 — 基础设施即代码与 GitOps。
分析
跟踪备份成功率、对照 RTO 的恢复测试时间、达成的 RPO、已关闭的演练发现,以及依赖覆盖情况。注意:高备份成功率并不能说明数据是否可以恢复;要统计恢复次数。见《服务管理度量》一书和主题 7.3 — 度量与报告。
常见失败模式
- 计划从未测试。 需要时失败。定期演练和恢复。
- 备份从未恢复。 它们是空的或不完整的。测试恢复并核实内容。
- 隐藏的依赖。 恢复卡在身份或 DNS 上。梳理并测试依赖。
- 攻击者可以改动的备份。 勒索软件把它们加密了。保留一份不可变的副本。
- 只由 IT 规划。 业务方没有参与。与业务负责人一起做影响分析。
- 计划只存在于已宕机的系统上。 没人能读到它。保留离线副本。
- 没有代理人。 一个人掌握着知识。指定替补并培训他们。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 影响与目标 | 未定义 | 列出关键服务 | 根据业务影响设定 RTO 和 RPO | 结合成本和结果评审目标 | 目标在整个企业和供应商之间协调 |
| 备份与恢复 | 备份未经验证 | 备份在运行 | 测试并计时恢复 | 跟踪并改进恢复表现 | 恢复自动化并持续测试 |
| 计划 | 没有或已过时 | 为主要服务编写 | 简明的计划,有指定的角色和代理人 | 每次演练之后更新计划 | 计划跨职能、供应商和客户整合 |
| 演练 | 无 | 纸面走查 | 定期模拟和真实恢复 | 将发现跟踪到关闭 | 演练包括合作伙伴和真实的场景 |
检查清单
- 我们对关键服务完成了业务影响分析。
- 每项关键服务都有与其负责人商定的 RTO 和 RPO。
- 依赖,包括身份和 DNS,已被梳理。
- 至少有一份备份是不可变的,并且已测试过恢复。
- 计划简短、最新,并且也存放在离线处。
- 角色和代理人已指定。
- 我们定期演练,并将发现跟踪到关闭。
- 已知供应商的连续性安排,并尽可能测试过。
AI 提示词
检查计划中的缺口。
这是我们 [服务] 的连续性计划:[粘贴]。这是它的依赖清单:[粘贴]。
请列出计划未提及的依赖、依赖于没有指定代理人的某个人的步骤,以及假定了一个可能宕机的系统的步骤。不要改写计划。
请列出你不确定的事项。
设计场景演练。
我们的背景:[组织类型、关键服务]。场景主题:[例如,勒索软件、数据中心丧失]。
请起草一份 90 分钟的讨论式演练,包含事件时间线、六个决策点、给各角色的问题,以及要记录的内容。除非我提供,否则不要使用真实的姓名或系统。
请列出你不确定的事项。
总结恢复测试结果。
这是一次恢复测试的笔记:[粘贴,附时间和问题]。
请列出耗时最长的事项、失败的事项、发现的依赖,以及可考虑的行动,并为每项注明负责人角色。不要编造原因。
请列出你不确定的事项。
AI 技能
- business-continuity-plan:用于规划关键职能如何持续。
- disaster-recovery-plan:用于规划系统和数据的恢复。
- disaster-recovery-testing:用于设计并运行恢复测试。
- crisis-communication-plan:用于规划中断期间的沟通。
- chaos-testing:用于安全地测试故障行为。
主要来源
- ISO 22301, Security and resilience — Business continuity management systems:国际标准;请从出版方获取当前版本阅读。
- PeopleCert, ITIL certification pages:所有者对服务连续性管理实践的描述。
- Wikipedia, "Business continuity planning" 和 "IT disaster recovery":对理念和术语的概述。
- Wikipedia, "Chaos engineering":有意测试故障的实践。
参考文献
- Business continuity planning — Wikipedia — https://en.wikipedia.org/wiki/Business_continuity_planning
- IT disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/IT_disaster_recovery
- Disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/Disaster_recovery
- ISO 22301 — Wikipedia — https://en.wikipedia.org/wiki/ISO_22301
- Backup — Wikipedia — https://en.wikipedia.org/wiki/Backup
- Backup site — Wikipedia — https://en.wikipedia.org/wiki/Backup_site
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Crisis management — Wikipedia — https://en.wikipedia.org/wiki/Crisis_management
- Ransomware — Wikipedia — https://en.wikipedia.org/wiki/Ransomware
- Replication (computing) — Wikipedia — https://en.wikipedia.org/wiki/Replication_(computing)
- Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management