流水线与自动化变更
交付流水线可以承载变更赋能所需要的控制措施:测试、安全检查、策略检查、同行评审、职责分离,以及每项变更的证据链;剩下的人工批准留给流水线无法作出的判断。
为什么这很重要
当变更罕见而且很大时,控制意味着一场会议。人们聚在一起,阅读一份文件,并同意发布可以继续。当变更变得频繁而且很小时,会议就不再适用。一个每天发布二十次的团队无法召集二十次委员会。但是,它可以以一致的严格程度运行同一组检查二十次,并保留每一次的记录。
这就是流水线对服务管理的贡献。构建和部署一项变更的同一自动化序列,也可以测试它、扫描其弱点、对照策略检查它、要求第二位评审人,并写下发生了什么。其结果往往是比会议提供的更好的控制:一致、与实际变更挂钩,而且在很久之后仍可供审计员使用。维基百科把持续交付和测试自动化描述为使之成为可能的实践。
流水线也是一件需要治理的新事物。它持有能改变生产环境的凭据,它可能被错误配置而跳过检查,它还可能让团队误信那些测试很少的绿色对勾。本主题解释如何把流水线设计成控制措施、如何为审计员产生证据,以及如何保留自动化无法取代的人的判断。它建立在持续交付(主题 2.2 — 持续交付)和变更赋能(主题 3.4 — 变更赋能)之上,与基础设施即代码(主题 6.3 — 基础设施即代码与 GitOps)和发布管理(主题 3.5 — 发布与部署管理)相联系,并与信息安全(主题 3.13 — 信息安全管理)有共同的关切。
核心概念
流水线。 把变更从源代码送到生产环境的自动化阶段序列:构建、测试、扫描、打包、部署、验证。维基百科描述了软件中的流水线(pipelines)。每个阶段要么通过要么失败,失败会停止变更。流水线被定义为代码并存放在版本控制中。
持续集成与交付。 频繁合并变更并让每个构建都保持可发布,如主题 2.2 — 持续交付所述。流水线是两者的机制。维基百科描述了持续集成和持续交付。
阶段即控制措施。 每个阶段都是有其目的的控制措施:
| 阶段 | 它提供的控制 |
|---|---|
| 构建 | 变更可重复地编译和打包 |
| 单元与集成测试 | 已知的行为仍然正常 |
| 静态分析与安全扫描 | 发现常见缺陷和有漏洞的依赖 |
| 策略检查 | 满足诸如标签、加密和已批准区域之类的规则 |
| 同行评审 | 第二个人已阅读该变更 |
| 分阶段部署与验证 | 变更在更广泛暴露之前先在安全的地方运行良好 |
质量关卡。 变更必须满足才能继续的条件,比如测试通过、没有严重漏洞,或覆盖率没有下降。维基百科更广泛地描述了质量控制(quality control)。关卡应当少、清晰且快速。经常被推翻或被忽视的关卡,会教会团队忽视关卡。
自动化测试。 单元测试、集成测试和端到端测试对每项变更运行。维基百科描述了测试自动化、单元测试(unit testing)和集成测试(integration testing)。价值在于你对它们的信任程度:不稳定的测试会侵蚀信心。见主题 2.2 — 持续交付。
安全扫描。 静态分析检查代码中的弱点模式;软件成分分析检查你所使用的库是否有已知漏洞。维基百科对静态应用安全测试和软件成分分析均有描述。发现需要分诊,因为许多是低风险或虚假的。
策略即代码。 写成机器可检查的代码并在流水线中应用的规则,例如“任何存储桶都不得公开”。它们使要求可测试,结果可记录。见主题 6.3 — 基础设施即代码与 GitOps。
职责分离。 写变更的人不是唯一批准它的人。维基百科描述了职责分离(separation of duties)。在流水线中,通过要求第二位评审人以及阻止作者批准自己的变更来强制执行。在法规要求之处,流水线可以显示谁做了什么。
流水线中的变更类型。 标准变更,比如常规的配置更新,可以仅凭自动化检查通过,无需人工批准。风险较高的常规变更可以在流水线中增加一个人工批准的步骤。紧急变更以快速模式使用同一条流水线,并留有同样的记录。见主题 3.4 — 变更赋能。
证据。 流水线记录什么变更了(提交)、谁评审了它、运行了哪些检查及其结果、谁或什么部署了它,以及何时。维基百科描述了审计追踪(audit trails)。证据应当存放在相关人员无法改动之处,并便于按变更检索。
软件供应链。 流水线用他人提供的组件构建,使用他人的工具,并产生被部署的制品。维基百科描述了软件供应链(software supply chain)和出处的概念,即对制品来自何处的可验证记录。做法包括固定版本、对制品签名,以及保留物料清单。见主题 4.2 — 软件资产管理。
渐进式推出与验证。 部署之后,流水线可以检查健康指标,并在其恶化时自动回滚。分阶段推出和功能开关等技术在主题 3.5 — 发布与部署管理中有描述。
流水线安全。 流水线可以部署到生产环境,所以它是高价值的目标。要保护它:限制谁可以更改流水线定义,使用短期凭据,隔离构建环境,并监控异常活动。像对待生产环境的变更那样仔细对待对流水线的变更。
绕过与例外。 有些变更不适合:数据修复、供应商的手工操作。定义一条有记录的例外路径,需经批准,而不是让人们自己想办法绕过。定期评审例外。
流水线即产品。 流水线需要负责人、待办事项列表、文档,以及提供反馈的用户。缓慢或不稳定的流水线会教会人们回避它。
这些视角如何契合。 流水线是敏捷视角和自动化视角与治理相遇的地方。AI 可以建议测试、评审变更并解释失败,需要人工审查。分析利用流水线数据显示交付和变更质量。
最佳实践
- 把每个阶段设计成有名称的控制措施。 对每个阶段,写下它针对什么风险、由谁负责,以及失败意味着什么。移除不针对真实风险的阶段。
- 保持流水线快速。 目标是常见路径几分钟内出结果。把缓慢的检查放到并行或后面的阶段,并给出清晰的反馈,使人们不去找捷径。
- 让流水线成为唯一路径。 生产变更通过它,其余的有记录的例外路径。尽可能阻止直接访问。
- 在工具中强制执行职责分离。 要求合格的第二位评审人,阻止作者批准自己的变更,并记录双方身份。
- 认真对待失败。 失败的测试或扫描会停止变更。不允许例行的推翻;需要时要求批准并记录原因。
- 对安全发现分诊。 按严重程度和暴露面设定阈值,修复严重的,跟踪其余的。调整规则以减少噪音,使发现被阅读。
- 自动记录证据。 把提交、评审人、检查、结果、制品和部署细节捕获到变更作者无法编辑的存储中。把它链接到变更记录。
- 保护流水线本身。 限制谁可以更改定义,使用最小范围的短期凭据,固定工具和依赖,并对制品签名。
- 部署之后验证。 检查健康指标,并在其恶化时回滚或暂停。在同一份记录中报告结果。
- 定期评审流水线。 查看哪些检查发现了真实问题、哪些被忽视、运行耗时多久,以及发生了哪些例外。改进并修剪。
与团队讨论的问题
今天流水线提供了我们的哪些变更控制措施?哪些仍然依赖会议或表单? 列出这些控制措施。预期有些本可以自动化的仍是手工的。追问:选择一项移入流水线。
如果审计员索要上个月某一项变更的证据,他们会看到什么? 试一试。预期需要拼凑几个系统。追问:商定每项变更一份单一的记录,以及检索它的办法。
人们多久推翻或绕过一次失败的检查?为什么? 索要数据。预期比任何人说的都多。追问:查看被推翻最多的检查,修复或移除它。
谁可以更改流水线定义?谁评审这项变更? 这个问题检验流水线安全。预期访问范围很广。追问:限制访问,并要求对流水线变更进行评审。
我们的扫描器的发现中,哪些我们会读,哪些我们忽略? 询问工程师。预期会听到“大多忽略”。追问:把扫描器调整到人们会采取行动的发现。
AI 能在流水线的哪里帮上忙?什么必须保持由人来决定? AI 可以提出测试、总结失败并评审代码。风险和例外的批准应保持由人来做。追问:试用 AI 建议的测试,并附评审。
实践:一个服务管理示例
一家国家社会保障机构运行着约 80 个应用。对其福利计算系统的变更需要每周一次的评审委员会和一份很长的表单,发布每月一次。审计办公室发现,委员会几乎批准一切,而各项变更的证据是分散的。该机构的工程师主张流水线可以做得更好。
交付经理在一个应用上开展试点。一条流水线构建应用,运行 1,800 个单元测试和集成测试以及一组取自过往缺陷的回归测试,扫描代码和库,对照策略检查基础设施定义,并要求来自一名在该系统上工作过的第二位工程师的评审。每次运行都写一份记录:提交、评审人、测试结果、扫描结果、制品标识符和部署细节,存放在工程师无法编辑的日志中。
变更流程被重新设计为三条路径。常规变更,比如文字更新和小的配置,是标准变更:如果流水线通过,变更就先部署到一个试点群体,然后到所有人,无需委员会。对福利计算规则的变更是常规变更,此外还需要一名政策分析师的签核,他能看到通俗语言的摘要和测试结果。紧急修复使用同一条流水线,带缩短的测试集,并事后评审。
审计办公室评审了 30 项变更的样本,发现所有变更的证据都是完整的,并且流水线因检查失败阻止了四项变更。它还指出有两名工程师反复互相批准对方的变更,要求制定评审人轮换的规则。
变化在于:发布变成每周一次,委员会聚焦于规则变更,审计员几分钟内就能检索到任何变更的证据。仍然困难的是:较旧的应用无法运行自动化测试,所以它们的变更保持旧的路径;扫描器标出许多低风险的库问题,工程师开始忽略这份报告;而且流水线自己的凭据被发现拥有超出需要的更广泛的访问权限。经理增加了扫描器调优、评审人轮换,以及对流水线凭据的评审。
四种视角
产品与交付团队
拥有你服务的流水线:保持它快速、可信,并对它检查什么保持诚实。编写能发现真实故障的测试,修复不稳定的测试,并把发现当作工作。不要绕过它。
服务与运维团队
帮助界定流水线在部署之后所使用的检查和健康指标。在事件和评审中使用证据。为真正的紧急情况保留一条例外路径。
领导层与治理
要求来自流水线的证据,而不是更多的会议。为测试、扫描和流水线安全出资。评审推翻和例外。不要把绿色的流水线误认为安全的系统。
客户与用户
你受益于频繁而更安全的变更。你应当得到影响你的重大变更的通知,并能在发布之后报告问题。
敏捷、AI、自动化与分析
敏捷
每次都通过相同检查的小而频繁的变更,是敏捷控制的实用形式。依据事件和反馈改进流水线。注意:不要把流水线视为已完成;随着系统变化,测试缺口会增大。
AI
AI 可以建议测试、评审变更、总结失败并对发现分诊,每项决定都由人负责。注意:AI 生成的测试可能通过了却几乎没测什么,AI 代码评审可能遗漏安全问题;度量逃逸的缺陷,并为风险保留人工评审。见主题 5.4 — 面向事件、知识与变更的生成式 AI。
自动化
流水线是通往生产的路径的自动化,包括检查和记录。把它当作关键基础设施来保护,具有自己的身份、最小权限和监控。注意:基于薄弱规则的自动批准会给出虚假的保证;评审每条规则真正检查什么。见主题 6.1 — 自动化策略。
分析
跟踪前置时间、部署频率、变更失败率、恢复时间、推翻次数、逃逸的缺陷,以及按严重程度划分的发现。注意:交付度量很容易被钻空子,不应用来给团队排名;跟踪逃逸的缺陷以检验这些检查。见《服务管理度量》一书和主题 7.3 — 度量与报告。
常见失败模式
- 绿色就是安全。 测试单薄却通过。评审每项检查真正测试什么,并跟踪逃逸的缺陷。
- 例行推翻。 检查被绕过。让推翻罕见、经批准并经评审。
- 流水线缓慢。 人们去找捷径。保持常见路径快速。
- 扫描器噪音。 发现被忽视。调优并分诊。
- 证据分散。 审计耗时数周。在一处自动记录。
- 权限过大的流水线。 一次被攻破就触及一切。限制访问并使用短期凭据。
- 自我批准。 作者批准自己的工作。在工具中强制执行职责分离。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 控制 | 手工检查 | 构建和一些测试 | 对每项变更进行测试、扫描、策略检查和评审 | 度量检查的有效性 | 控制措施在人的监督下随风险自动调整 |
| 证据 | 表单和电子邮件 | 一些日志 | 每项变更自动记录 | 审计并抽查证据 | 证据在各流水线和供应商之间持续产生 |
| 流水线安全 | 共用凭据 | 有意识 | 最小权限、固定的工具、受保护的定义 | 监控并测试流水线 | 端到端验证供应链 |
| 流动 | 缓慢、手工 | 更快的构建 | 带例外路径的快速常见路径 | 度量流动与失败 | 跨服务优化交付 |
检查清单
- 每个流水线阶段都有指定的目的和负责人。
- 常见路径几分钟内运行完毕。
- 生产变更通过流水线,另有记录在案的例外路径。
- 职责分离在工具中被强制执行。
- 失败的检查会停止变更,推翻需经批准并受评审。
- 证据自动记录在作者无法编辑的存储中。
- 流水线定义和凭据受到保护并经评审。
- 我们评审检查的有效性,包括逃逸的缺陷。
AI 提示词
把控制措施映射到流水线。
这是我们的变更控制措施清单:[粘贴]。这是对我们流水线所做事情的描述:[粘贴]。
请针对每项控制措施,说明流水线描述看起来是提供它、部分提供它,还是没有提及,并引用原话。不要假设描述中没有的检查。
请列出你不确定的事项。
评审一次失败的流水线运行。
这是一次失败运行的日志:[粘贴,已去除机密]。
请总结哪个阶段失败、错误信息,以及最可能需要检查的三个方面,每个都标注为假设。不要建议推翻这次失败。
请列出你不确定的事项。
为审计准备证据样本。
这是 [数量] 项变更的记录:[粘贴含提交、评审人、检查、结果的摘要]。
请针对每一项,检查它是否显示了不是作者的评审人、通过的测试、扫描结果和部署时间,并列出缺口。不要推断记录中没有的内容。
请列出你不确定的事项。
AI 技能
- change-request:用于描述变更及其所需的证据。
- shift-left-testing:用于把测试在流水线中前移。
- security-testing:用于规划流水线的安全检查。
- compliance-testing:用于对照控制要求检查证据。
- test-driven-development:用于与变更同步构建测试。
主要来源
- Jez Humble 和 David Farley,Continuous Delivery(2010):关于部署流水线的奠基性论述。
- Nicole Forsgren、Jez Humble 和 Gene Kim,Accelerate(2018):关于交付实践与绩效的研究。
- DORA(dora.dev):持续的研究和报告。
- Wikipedia, "Continuous delivery" 和 "Software supply chain":对这一实践及其风险的概述。
参考文献
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
- Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
- Unit testing — Wikipedia — https://en.wikipedia.org/wiki/Unit_testing
- Integration testing — Wikipedia — https://en.wikipedia.org/wiki/Integration_testing
- Static application security testing — Wikipedia — https://en.wikipedia.org/wiki/Static_application_security_testing
- Software composition analysis — Wikipedia — https://en.wikipedia.org/wiki/Software_composition_analysis
- Software supply chain — Wikipedia — https://en.wikipedia.org/wiki/Software_supply_chain
- Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- Code signing — Wikipedia — https://en.wikipedia.org/wiki/Code_signing
- DORA research — DevOps Research and Assessment — https://dora.dev/research/