为什么这很重要

变更是在线服务中最大的风险来源,通常的应对办法是放慢它:更少的发布、更多的审批、更大规模的测试周期。这些做法每一项都会让下一次发布更大,从而更有风险,进而引发更多的谨慎。团队发现自己每个季度发布一次,并在一个漫长的周末里焦虑地忙碌。

持续交付扭转了这个循环。如果变更很小,它的影响就容易理解、容易测试、容易回退。如果它通过自动化流水线发布,同样的检查每次都以同样的顺序运行,并留有记录。如果发布可以随时进行,团队就能在数小时而不是数周内响应出故障的服务或客户的需要。

对服务管理而言,持续交付之所以重要,是因为它改变了控制的样子。围绕每周一次的委员会会议建立的变更赋能实践,跟不上每天 20 次发布的节奏,而且如果流水线承载了检查,也无需跟上(见主题 3.4 — 变更赋能和主题 6.4 — 流水线与自动化变更)。本主题解释这一实践、相关词汇,以及如何在不失控的前提下引入它。

核心概念

持续集成。 开发人员频繁地,至少每天一次,把自己的工作合并到共享的主线,每次合并都会触发一次自动化的构建和测试运行。目的是在集成问题还很小的时候就发现它们。维基百科关于持续集成的文章描述了这一实践及其源自极限编程的起源。

持续交付。 通过自动化检查的构建始终处于可以发布的状态。是否发布是一项业务决策,在合适的时候作出,而不是技术上的障碍。按标准的表述,发布只需点击一下,风险很低。

持续部署。 更进一步:每一项通过流水线的变更都会自动发布到生产环境,无需人工审批。这是一种选择,而不是持续交付的要求,它对某些服务和某些风险比其他的更合适。

部署流水线。 一个自动化的阶段序列:构建、单元测试、集成测试、安全检查、部署到测试环境、验收测试和发布。每个阶段要么放行变更,要么拦下它。流水线既是安全机制,也是证据的来源,因为它记录了检查了什么。

小批量。 发布小变更意味着每一项触及的范围很小。排队论中的利特尔法则(Little's law,维基百科对此有描述)解释了部分效果:在相同的工作速率下,更小的批量意味着更短的队列和更短的延迟。小批量也使故障更容易追溯到原因。

把部署与发布分开。 部署是把代码放到生产服务器上。发布是让某项功能对用户可用。功能开关(feature toggle)等技术让你把代码以关闭状态部署,稍后再启用,先对一部分用户启用。这降低了每一步的风险。见主题 3.5 — 发布与部署管理。

渐进式交付。 先发布给一小部分用户,观察,然后逐步扩大。变体包括金丝雀发布(让一小群用户获得变更)和蓝绿部署(两套生产环境交替使用,以便能迅速切换回去)。

版本控制与主干开发。 所有变更,包括配置和基础设施定义,都存放在版本控制中。许多团队在单一主分支上工作,使用短期存活的分支,这使集成保持频繁。见主题 6.3 — 基础设施即代码与 GitOps。

快速反馈与恢复。 目标是快速发现故障并快速恢复。关于软件交付的研究项目,如 DevOps 研究与评估(DORA)的工作,跟踪部署频率、变更前置时间、变更失败率和恢复服务时间等度量。把它们当作关于你的系统的问题,而不是给团队的分数;见《服务管理度量》一书。

它需要什么。 你信任的自动化测试、稳定的流水线、回滚或前滚的能力、能显示变更影响的生产监控,以及对自己所发布内容负责的团队。没有这些,频繁发布是鲁莽的;有了这些,它们比不频繁的发布更安全。

这些视角如何契合。 持续交付是敏捷视角在在线服务上的实用形式。AI 助手在人工审查下帮助编写和评审代码与测试。自动化是流水线的核心。分析告诉你流水线和服务正在做什么。

最佳实践

  1. 让主线始终可发布。 把构建失败当作团队的首要任务。类似“一小时内修复或回退”的规则可以保持集成健康。
  2. 让变更保持小。 目标是评审人几分钟内就能看懂的变更。如果变更很大,就拆分它,例如先发布准备性的步骤。
  3. 自动化你所信任的检查。 构建、单元、集成和安全检查对每项变更都运行。当事件暴露出缺口时增加一项检查;对一项从不失败又耗费时间的检查,经讨论后可以移除。
  4. 所有变更使用同一条流水线路径。 避免为紧急变更开辟特殊路线。一条快到足以应对紧急情况的单一路径,比一条很少被使用的例外通道更安全。
  5. 把部署与发布分开。 使用功能开关和分阶段推出,使新行为能对少数用户开启并迅速关闭。记录每个开关的状态,并移除旧的开关。
  6. 规划退路。 对每项变更,知道如何回滚或前滚,并加以演练。数据变更需要特别小心,因为代码回滚无法撤销它们。
  7. 监控每次发布的影响。 在发布后的规定时间内观察错误率、延迟和面向用户的指标,并使变更与症状之间容易关联。
  8. 写下流水线检查什么。 对每个阶段、其目的及其负责人作简短描述,便于审计员、新员工和运维人员理解它。
  9. 从一开始就让运维参与。 把运维和支持人员带入设计,使日志、运行手册和告警成为变更的一部分,而不是事后补充。
  10. 把流水线当作产品来改进。 给它一位负责人和一份待办事项列表(backlog)。缓慢、不稳定的流水线会教会人们绕过它。

与团队讨论的问题

我们最小的变更到达生产环境需要多长时间?它在哪里等待? 这个问题找出延迟。请要求拿出带时间戳的真实例子。典型的等待是手工测试、审批、环境访问权限和发布窗口。追问:选择最长的等待,并确定缩短它的第一步。

我们的哪些人工审批可以由流水线检查取代?每一项控制的是什么风险? 每项审批的存在都有原因,往往是多年前的一次事件。问问它针对什么风险,以及什么证据能让审批人满意。预期控制措施的负责人会有抵触;请他们帮忙设计替代方案。追问:试行一项替代,并设定评审日期。

发布出问题时会发生什么?我们能多快撤回?我们演练过吗? 团队常发现回滚只存在于纸面上。问问上一次使用它是什么时候。追问:规划一次在安全环境中的演练。

我们信任哪些测试?无视哪些测试? 不稳定的测试会侵蚀信心。问问团队对哪些失败不以为意。预期会得到关于“重试通常就通过”的测试的坦率回答。追问:选择一个不稳定的测试去修复或删除。

我们如何在一小时内知道一次发布是否伤害了用户? 这个问题检验监控。回答从“等待投诉”到仪表板和自动告警不等。问问哪个指标本来可以抓住上一次糟糕的发布。追问:选择一个指标来添加和检查。

AI 在我们的流水线中可能在哪里帮上忙?由谁审查它的产出? AI 可以起草测试、评审变更并解释失败。问问每种用法会产出什么,以及由谁负责。预期会有热情而几乎没有监督。追问:选择一种低风险的用法,配以人工审查和错误度量。

实践:一个服务管理示例

一家区域医院集团的数字团队运行着一项供 30 家诊所使用的患者预约服务。发布每季度进行一次,在周末窗口内完成,并带有庞大的测试清单。最近两次发布都超时了,其中一次引入了一个故障,在周一早晨表现为预约被重复登记。

团队负责人与服务负责人一起提出了小步骤。第一,他们把构建和最重要的 200 个回归测试自动化,使其对每项变更都运行。第二,他们把配置放入版本控制,并要求每项变更经过同行评审。第三,他们增加一个功能开关,使新的预约规则可以先在一家诊所启用。为服务签字确认的临床安全官要求拿出每项变更都经过测试和评审的证据。团队向她展示了每次发布的流水线记录。

四个月后,团队每周发布一次,周一早晨的风险变小了,因为变更更小也更可见。重复预约规则的变更先在一家诊所启用,第二天前台人员注意到一条奇怪的提示时被发现,并在几分钟内被关闭。

变化在于:发布不再是周末的大事,安全官审阅的是证据,而不是出席会议。仍然困难的是:测试套件仍然遗漏一些复杂的预约情形,通往患者记录系统的一个旧接口没有自动化测试,还有两家诊所对每周变更不满,因为它影响了他们的培训。团队商定了一份针对培训敏感功能的变更日历,并随着事件暴露出缺口继续增加测试。

四种视角

产品与交付团队

拥有流水线及其所发布的内容。保持变更小、测试可信、开关整洁。把日志、告警和运行手册纳入完成定义,并观察每次发布的影响。

服务与运维团队

帮助界定流水线检查什么、监控显示什么。与开发人员一起处理回滚,以及“健康”是什么样子。事件开始时,索取发布记录。

领导层与治理

为流水线、测试和监控出资,这些都容易被饿死。要求通过流水线而不是会议来提供控制的证据。不要用交付度量给团队排名。

客户与用户

预期会有小而频繁的变更和快速的修复。当某项变更扰乱了你,例如在培训或繁忙时段,请告诉团队,并要求在重大变更之前得到通知。

敏捷、AI、自动化与分析

敏捷

持续交付是敏捷实践中的交付一侧:以小块交付可运行的变更,干系人参与,并定期评审需要改进什么。注意:不要把它与某种特定方法等同;团队无论是否使用冲刺,都可以持续交付。

AI

AI 助手可以起草代码、测试和发布说明,并总结失败,需要指定负责人,并且在每项输出进入流水线之前由人审查。注意:生成的代码可能带有安全或许可方面的问题;要运行与任何变更相同的检查,并跟踪由 AI 辅助的变更中引发缺陷的比例。见主题 5.4 — 面向事件、知识与变更的生成式 AI。

自动化

自动化构建、测试、安全扫描、部署以及证据链,并尽可能让回滚自动进行。注意:绿色的流水线只表明检查通过了,并不表明变更是正确的;设计和风险方面的决策要保留人工审查。见主题 6.4 — 流水线与自动化变更。

分析

跟踪变更前置时间、部署频率、变更失败率和恢复时间,把它们当作对系统提出的问题。注意:当这些成为目标时,团队会人为拆分变更或回避记录失败;请结合《服务管理度量》一书中的护栏来使用。

常见失败模式

  • 频繁发布而没有测试。 速度上升,信任下降。先建立检查,再按它们能支持的频率发布。
  • 为紧急变更另开一条路径。 紧急路径未经测试,风险很高。让主路径快到足以应对紧急情况。
  • 长期存活的功能开关。 旧开关堆积,没人知道哪些是开着的。跟踪开关,并在推出之后移除。
  • 没有回滚演练。 需要时回滚失败。在安全环境中练习它。
  • 忽视不稳定的测试。 人们不再相信红色的构建。修复或移除不稳定的测试。
  • 把流水线当作别人的事。 它会衰败。给它一位负责人和一份待办事项列表。
  • 用度量给团队排名。 团队会钻数字的空子。用度量来发现问题,而不是比较人。

成熟度模型

维度 起步 发展 标准化 管理 协同
发布频率 每季度或更少 每月 每周或更多,走标准路径 频率根据风险和需求调整 跨服务持续发布,并采用渐进式交付
自动化 手工构建和测试 自动化构建 自动化构建、测试和部署 像产品一样监控和改进流水线 流水线在团队之间共享并受治理
控制证据 会议和检查清单 有一些记录 每项变更都有流水线记录 抽样并评审证据 证据持续产生,并由人复核风险
恢复 回滚不明确 回滚有文档 回滚或前滚经过演练 度量恢复时间 恢复自动化并定期测试

检查清单

  • 主线始终可发布。
  • 每项变更都经过同一条自动化流水线。
  • 我们信任的测试对每项变更都运行;不稳定的测试被修复或移除。
  • 我们把部署与发布分开,并跟踪功能开关。
  • 我们知道如何回滚或前滚,并且演练过。
  • 我们监控每次发布的影响。
  • 流水线有负责人、待办事项列表和对其检查的描述。
  • 由 AI 辅助的变更都经过评审并被跟踪。

AI 提示词

找出一次发布中的等待。

这是我们上一次发布从“变更就绪”到“上线生产”的时间线:[粘贴带时间戳和操作者的时间线]。
请列出每一次等待及其时长,然后针对每次等待给出两个用于查明原因的问题。不要假设原因。
请列出你不确定的事项。

针对某项风险提出流水线检查。

我们的服务:[描述]。我们想要控制的风险:[描述,例如未经测试的配置变更]。
请列出可能应对它的五项自动化检查,每一项能发现什么、会遗漏什么。不要声称某项检查消除了风险。
请标明假设,并列出你不确定的事项。

起草回滚演练计划。

我们的发布流程:[粘贴步骤]。我们的回滚方法:[描述,或写“未知”]。
请起草一页纸的演练计划,包括步骤、角色、成功标准以及要记录的内容。仅限在安全环境中进行;不要建议在生产环境中演练。
请列出你不确定的事项。

AI 技能

主要来源

  • Jez Humble 和 David Farley,Continuous Delivery(2010):命名并描述了这一实践的著作。
  • DORA(dora.dev):关于软件交付绩效的研究和报告。
  • Wikipedia, "Continuous delivery":原则及相关实践的概述。
  • Wikipedia, "Continuous integration":作为其基础的实践。

参考文献

  1. Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
  2. Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
  3. Continuous deployment — Wikipedia — https://en.wikipedia.org/wiki/Continuous_deployment
  4. Feature toggle — Wikipedia — https://en.wikipedia.org/wiki/Feature_toggle
  5. Blue–green deployment — Wikipedia — https://en.wikipedia.org/wiki/Blue%E2%80%93green_deployment
  6. Little's law — Wikipedia — https://en.wikipedia.org/wiki/Little%27s_law
  7. Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
  8. Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
  9. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  10. DORA — DevOps Research and Assessment — https://dora.dev