变更赋能
变更赋能确保对服务的变更既安全又迅速;它评估风险,把权限交给最贴近变更的人,把常规检查移入流水线,只在需要判断的变更上保留人工评审。
为什么这很重要
变更会引发事件。一次配置修改、一次代码发布、一次证书续期、一条防火墙规则:其中任何一项都可能让服务宕机。大多数组织是吃了苦头才明白这一点,随后以控制措施作出回应:一张表单、一项审批、一次会议、一段冻结期。控制措施降低了一部分风险,却增加了延迟,而延迟又促使人们把变更捆绑成更大的批次,风险反而更高。
这种控制措施的传统形式是变更咨询委员会(CAB),一个评审拟议变更的小组。当委员会为高风险变更带来广阔的视角时,可以创造真正的价值。但当它评审每一项变更,包括已成功一千次的常规变更时,就成了瓶颈。Nicole Forsgren、Jez Humble 和 Gene Kim 合著的《加速》(Accelerate)一书所报告的软件交付研究发现,沉重的外部审批与更好的稳定性无关,却与更慢的交付相关;同行评审和自动化检查则与更好的结果相关。这些数据来自调查,也有其自身的局限,但方向与许多团队的经验一致。
ITIL 4 将这项实践更名为“变更赋能”(change enablement),以表明其目的是通过确保风险得到妥善评估、授权变更继续进行并管理变更日程,来促成有益的变更。本主题说明如何针对不同种类的变更采用不同的路径,以及如何把证据内建于工作之中。它建立在持续交付(主题 2.2 — 持续交付)之上,并与发布管理(主题 3.5 — 发布与部署管理)和配置管理(主题 4.4 — 配置管理)相联系。
核心概念
变更。 在 ITIL 4 中,指增加、修改或移除任何可能对服务产生直接或间接影响的东西。范围很广:软件、基础设施、配置、文档、供应商和流程。维基百科关于变更管理(change management)和变更控制(change control)的文章描述了这一概念在 IT 和工程中的情形。
变更赋能与变更管理。 “变更管理”也用于组织变革,即转型中人的一面(见主题 8.3 — 组织变革与采纳)。ITIL 中的“变更赋能”指对服务和产品的变更进行控制。本指南用 ITIL 4 的术语来指称这里所描述的实践。
变更类型。 ITIL 4 描述了三种:
| 类型 | 描述 | 典型路径 |
|---|---|---|
| 标准变更 | 低风险、被充分理解、预先授权、重复进行 | 遵循文档化的程序;无需个别审批 |
| 常规变更 | 需要评估和授权 | 由合适的变更权限方评估并授权 |
| 紧急变更 | 必须紧急进行,例如为恢复服务或修复严重漏洞 | 加急授权,事后评审 |
变更权限方。 授权变更的人或小组。ITIL 4 强调,权限应分配给与风险相称的层级,对低风险变更,这往往是同行或团队本身。风险更高的变更则交给更高层。维基百科关于变更咨询委员会的文章描述了传统模式。
风险评估。 估计变更失败的可能性和影响。因素包括变更的大小、服务的重要性、用户数量、已进行的测试、回滚的能力,以及类似变更的历史记录。维基百科关于风险评估(risk assessment)和风险管理的文章描述了一般方法。一份简单、一致的检查清单,比没人信任的复杂评分更有效。
变更日程。 显示计划中变更的日历,使冲突以及与关键业务时段的碰撞可以被看到。对于每天发布多次的团队,日程缩减为例外情况,比如冻结期,以及需要协调的大型变更。
同行评审。 另一位有能力的人在变更实施之前对其进行评审,就像代码评审一样。维基百科描述了同行评审(peer review)和代码评审(code review)。它成本低、速度快,能带来相关知识,并在需要时支持职责分离。
流水线中的自动化控制。 测试、静态分析、安全扫描和策略检查对每项变更运行,流水线记录运行了什么以及结果。这比会议产生更好的证据,因为它一致,并与实际变更挂钩。维基百科关于测试自动化和静态程序分析的文章描述了其中一些技术。见主题 6.4 — 流水线与自动化变更。
职责分离。 一种控制措施,使得没有任何一个人可以独自完成高风险操作,例如要求写变更的人不是唯一的批准者。法规或审计可能要求这样做。维基百科描述了职责分离(separation of duties)。流水线可以通过要求第二位评审人并记录双方来强制执行。
回滚与恢复。 撤销变更或迅速前滚的能力降低了风险。数据变更比代码变更更难撤销。请参阅维基百科关于数据管理中回滚(rollback)的文章。
紧急变更。 真正的紧急情况需要速度。一条有指定权限方、文书最少、事后评审的明确路径,可以防止“紧急”成为回避流程的默认方式。
证据与审计。 美国的《萨班斯—奥克斯利法案》(Sarbanes–Oxley Act)等法规以及其他司法辖区的类似规则,推动了对财务系统变更进行控制的要求。要求因司法辖区和行业而异;请核实适用于你的规定,并询问审计员什么证据可满足要求。本指南不提供法律建议。
这些视角如何契合。 变更赋能是敏捷的节奏与控制相遇的地方。敏捷实践建议小而频繁的变更和干系人的早期参与。AI 可以帮助评估风险并起草变更描述,需要人工审查。自动化提供流水线控制。分析显示变更失败和前置时间。
最佳实践
- 按类型和风险对变更分类。 定义标准、常规和紧急变更,并为每种给出示例。定期评审分类,当证据支持时,把变更移到“标准变更”。
- 预先授权标准变更。 对于重复的低风险变更,与风险负责人一次性商定程序,然后让团队无需个别审批就可以执行。评审其成功率。
- 让权限靠近工作。 让同行评审授权低风险变更。把风险更高的变更升级给了解服务及其依赖的人。
- 把委员会用于需要它的变更。 为高风险或跨领域的变更保留变更咨询职能。提前准备材料,迅速作出决定。
- 把控制内建于流水线。 在工具中要求测试、扫描和第二位评审人,并自动记录证据。向审计员展示流水线,而不是电子表格。
- 让变更保持小。 把大变更拆成可以分别发布和检查的较小步骤。更小的变更风险更低,也更容易撤销。
- 规划退路。 要求每项常规变更都有回滚或前滚计划,并对重要的变更加以演练。
- 保持一份可见的日程。 把计划中的变更和冻结期展示在团队能看到的地方,并突出与重大活动的冲突。对于频繁的小变更,只显示需要协调的部分。
- 定义并监督紧急变更。 写下标准和路径。事后评审每一项紧急变更,问问它为什么必要,以及常规路径是否可以改进。
- 从失败的变更中学习。 评审引发事件的变更,并调整风险规则、测试或检查清单。跟踪变更失败率并查看其原因。
与团队讨论的问题
我们的哪些审批从未驳回或改动过变更?它们花费了多少时间? 这个问题检验控制措施是否增加了价值。请要求拿出过去六个月的数据。你可能会发现一些没有记录任何效果的审批步骤。追问:问每个步骤针对什么风险,以及能否由其他控制措施来应对。
我们最常做哪些变更?其中哪些可以预先授权为标准变更? 按数量列出前十项。预期许多是低风险且重复的。让风险负责人参与。追问:选择两项试行,并商定成功标准。
我们如何决定哪些变更需要人工评审?由谁来做? 标准往往是隐含的。问问在我们的环境里,什么会使变更“有风险”。追问:起草一份简短的检查清单,并在最近的变更上试用。
审计员会接受什么证据,来证明变更已被测试、评审和批准? 直接问审计员,而不是猜测。预期如果流水线记录显示了谁、什么和何时,可能会被接受。追问:商定一批流水线记录的样本,请审计员评审。
上一次变更出问题是什么时候?我们的流程中是什么允许了它? 这个问题把实践与真实的失败联系起来。寻找缺失的测试、缺失的回滚或糟糕的信息。避免责怪个人。追问:商定要增加或改进的一项控制措施。
AI 能在哪里帮助评估变更风险?我们希望手工核对什么? AI 可以阅读变更描述和类似的过往失败,以建议风险因素。它也可能忽略或编造。问问谁负责这个工具,如何验证它的建议。追问:把 AI 的风险评级与过往变更的结果作比较。
实践:一个服务管理示例
一家区域卫生局的 IT 部门每周运行一次变更咨询委员会,约 20 人参加,评审每一项变更。工程师们说他们要等多达八天才能获得批准;委员会则说它能发现问题。该局的患者记录系统去年发生了两起事件,起因是未经评审的配置变更,它们是以“紧急”的名义进行的,以避开委员会。
变更经理分析了六个月的记录:640 项变更经过评审,590 项按提交的内容获批,38 项因信息缺失被退回,12 项因实质性原因被修改或驳回。在这 590 项中,有 41 项引发了事件,几乎全都是同时也是紧急进行的变更。经理提出三条路径。标准变更,如把用户添加到组或续期证书,遵循文档化的程序,无需审批。对分类为较低风险的系统的常规变更,由另一个团队的同行评审,并由流水线检查。对患者记录系统的高风险变更,则交给一个规模较小、每周开两次会、只审查这类变更的委员会。
临床安全官要求拿出同行评审确实发生的证据。经理展示了一份流水线报告,列出每项变更及评审人姓名、所运行的测试和结果。安全官同意进行为期六个月的试用,并每月评审失败的变更。
变化在于:大多数变更的批准时间中位数从五天降到一天以内,“紧急”的使用也大幅减少。仍然困难的是:一些旧系统无法运行自动化测试,所以它们的变更仍需手工检查;同行评审依赖工程师有时间,而压力之下的团队评审流于表面;每月评审发现有两项变更,评审人并不具备相关知识。经理增加了一条规则:评审人必须是在该系统上工作过的人。
四种视角
产品与交付团队
让变更保持小,增加测试,并规划回滚。与变更实践一起定义标准变更和流水线证据。把同行评审当作真正的评审,而不是签个名。
服务与运维团队
帮助评估运维风险,维护日程,并分享你对依赖关系的了解。与团队一起评审失败的变更,并使紧急变更保持罕见且经过检查。
领导层与治理
根据风险下放权限,要求来自流水线的证据,并且不要求常规变更开会。保护用于同行评审的时间。评审紧急变更的数量。
客户与用户
你应当听到关于影响你的变更的通知,有足够的提前量和清晰的描述。告诉提供者哪些时段变更对你有风险。变更之后及时报告问题。
敏捷、AI、自动化与分析
敏捷
小而频繁、让干系人知情的变更,比大而罕见的变更更安全。让运维和风险负责人参与设计变更路径,并通过反馈加以改进。注意:不要以敏捷之名放弃控制措施;用更好的控制措施来替代它们。
AI
AI 可以帮助起草变更描述,根据类似的过往变更建议风险因素,并检查描述是否缺少信息,决策由人负责。注意:AI 的风险评分可能被当作权威;把它作为建议展示,并跟踪它有多少次是对的。见主题 5.4 — 面向事件、知识与变更的生成式 AI。
自动化
自动化流水线检查、证据捕获、日程冲突检测和标准变更的执行,带有日志和回滚。注意:变更的自动批准只和它的规则一样好;评审规则并对已批准的变更抽样。见主题 6.4 — 流水线与自动化变更。
分析
跟踪按类型划分的变更数量、前置时间、变更失败率和紧急变更,并查看失败的原因。注意:低失败率可能源于没有记录失败,批准数量也可以通过拆分或批量处理变更来钻空子;对照事件数据检查。见《服务管理度量》一书和主题 7.3 — 度量与报告。
常见失败模式
- 所有变更一视同仁地评审。 常规变更在等待。按风险分类并预先授权标准变更。
- 没有证据的委员会。 成员批准他们无法评估的东西。提前准备信息,只把需要判断的变更送来。
- 把紧急当作绕行通道。 为避开评审而宣布紧急。对其加以定义,并评审每一次使用。
- 流于表面的同行评审。 签了字却没有阅读。要求合格的评审人并抽查评审。
- 放弃控制措施却不加替代。 失败增多,审计员提出异议。在流水线中达到每项控制措施的目的。
- 没有回滚计划。 失败的变更延长了事件。要求并演练恢复。
- 把获批的变更数量算作成功。 数量上升,质量却没有。跟踪失败和所引发的事件。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 变更类型与权限 | 一切走同一条路径 | 有紧急路径 | 定义了标准、常规和紧急变更,并按风险分配权限 | 用数据评审路径 | 路径跨服务按风险自动调整 |
| 证据 | 表单和会议 | 工具中有一些记录 | 大多数变更有流水线记录 | 抽样并审计证据 | 证据跨工具和供应商持续产生 |
| 风险评估 | 凭直觉 | 非正式的检查清单 | 一致的检查清单和标准 | 根据失败数据调整标准 | 用数据和自动化评估风险,并有人工复核 |
| 学习 | 责备 | 偶尔评审 | 评审失败的变更并有行动项 | 跟踪并减少失败原因 | 学习在团队之间共享 |
检查清单
- 我们有标准、常规和紧急变更类型及示例。
- 标准变更已预先授权,并有文档化的程序。
- 每种类型的权限与风险相称。
- 同行评审由具备相关知识的人进行。
- 流水线控制记录测试、评审人和结果。
- 每项常规变更都有回滚或前滚计划。
- 紧急变更事后受到评审。
- 我们跟踪变更失败率,并从失败的变更中学习。
AI 提示词
检查变更描述中的缺漏。
这是一份变更描述草稿:[粘贴]。我们的必填字段是:[列表]。
请列出哪些必填字段缺失或不清楚,并列出评审人会问的五个问题。不要改写变更,也不要评估其风险。
请列出你不确定的事项。
在失败的变更中寻找规律。
下面是引发了事件的变更清单,包含日期、类型、大小、是否经过测试以及是否回滚:[粘贴清单,已去除姓名]。
请列出它们的共同特征和用于调查的问题。不要在数据之外推断原因。
请列出你不确定的事项。
为标准变更提出候选项。
这是我们过去六个月最频繁的变更,附有数量和失败次数:[粘贴数据]。
请列出哪些看起来是预先授权的候选项,说明你所使用的数据,以及我们应当向风险负责人提出的问题。不要声称任何一项是安全的。
请列出你不确定的事项。
AI 技能
- change-request:用于设计清晰、轻量的变更记录。
- enterprise-change-management:用于变更的组织一面。
- risk-register:用于记录和评审来自变更的风险。
- compliance-testing:用于对照控制要求检查证据。
- security-testing:用于规划流水线的安全检查。
主要来源
- Nicole Forsgren、Jez Humble 和 Gene Kim,Accelerate(2018):关于交付实践的研究,包括变更审批。
- DORA(dora.dev):关于软件交付绩效的持续研究和报告。
- PeopleCert, ITIL certification pages:所有者对变更赋能实践的描述。
- Wikipedia, "Change management" 和 "Change control":对这些理念的概述。
参考文献
- Change management — Wikipedia — https://en.wikipedia.org/wiki/Change_management
- Change control — Wikipedia — https://en.wikipedia.org/wiki/Change_control
- Change-advisory board — Wikipedia — https://en.wikipedia.org/wiki/Change-advisory_board
- Risk assessment — Wikipedia — https://en.wikipedia.org/wiki/Risk_assessment
- Peer review — Wikipedia — https://en.wikipedia.org/wiki/Peer_review
- Code review — Wikipedia — https://en.wikipedia.org/wiki/Code_review
- Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
- Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
- Static program analysis — Wikipedia — https://en.wikipedia.org/wiki/Static_program_analysis
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- DORA research — DevOps Research and Assessment — https://dora.dev/research/