为什么这很重要

很长一段时间里,基础设施是手工构建的。工程师登录到服务器,安装软件包,编辑配置,然后离开。这台服务器成了独一无二的对象,它的历史存在于工程师的记忆和几条笔记里。它出故障时,凭记忆重建。需要第二台服务器时,它是一份在细微之处有所不同、没人能列举的副本。排障意味着弄清两个“相同的”系统为何会有不同的行为。

基础设施即代码(IaC)用文本取代了这一切。基础设施的期望状态写在文件里,保存在版本控制中,像软件一样被评审,并由工具应用。重建一个环境变成一条命令。第二份副本就是用不同的值的同一批文件。一项变更就是一个拉取请求,有评审人、测试和记录。维基百科把基础设施即代码(infrastructure as code)描述为通过机器可读的定义文件而不是交互式配置来管理和配置基础设施。

GitOps 把这一理念再推进一步。代码仓库被宣告为期望状态的唯一事实来源,软件同时监视它和运行中的系统,并使系统与之相符。没有人手工改变生产环境;他们改变代码仓库。这给服务管理带来很多好处:每项变更的审计追踪、快速恢复、各环境之间的一致性,以及变更批准的天然归属。它也引入新的风险,比如存放在代码仓库里的机密,以及一次到处生效的错误。本主题解释这些理念,以及如何谨慎地采纳它们。它建立在配置管理(主题 4.4 — 配置管理)、持续交付(主题 2.2 — 持续交付)和变更赋能(主题 3.4 — 变更赋能)之上,并通向流水线(主题 6.4 — 流水线与自动化变更)。

核心概念

基础设施即代码(IaC)。 用工具读取并应用的代码或配置文件来定义基础设施。它涵盖服务器、网络、存储、数据库、访问规则和平台设置。维基百科描述了这种方法及其历史。这些文件既是文档,也是机制。

声明式与命令式。 声明式定义说明最终状态应当是什么(“这个负载均衡器后面有三台这种类型的服务器”);由工具算出如何达到。命令式定义则说明要采取的步骤。维基百科描述了声明式编程(declarative programming)和命令式编程(imperative programming)。声明式工具往往更容易推理,也更容易安全地重复,而命令式脚本则为不寻常的任务提供更多控制。许多团队两者都用。

工具。 例子包括配置云资源的 Terraform、配置系统的 Ansible,以及按声明的清单运行容器的 Kubernetes。维基百科对各者均有描述。工具格局变化很快;依据适配度、支持和你拥有的技能来选择,并让定义尽可能可移植。

期望状态、实际状态与漂移。 期望状态是代码所说的;实际状态是正在运行的。漂移是二者之差,通常源于手工变更或故障。检测并纠正漂移是 IaC 的一项核心好处。见主题 4.4 — 配置管理。

幂等性。 反复应用同一份定义,得到相同的结果。维基百科描述了幂等性(idempotence)。这使得重新运行应用以纠正漂移变得安全。

状态文件。 一些工具保存一份它们所管理资源的记录,并将其与定义作比较。要小心对待:它可能含有敏感数据,不得手工编辑,并需要加锁,以免两个人同时应用。

不可变基础设施。 不是修改正在运行的服务器,而是用已知的镜像构建一台新的,并替换旧的。这避免了漂移,使回滚变得简单:切换回去。它最适合虚拟机和容器(维基百科有描述 containerization),以及构建良好的镜像。

版本控制与评审。 定义存放在版本控制中,比如 Git,维基百科把它描述为分布式版本控制系统(Git)。变更通过分支和评审进行,即所谓的拉取请求和代码评审(code review)。历史记录显示谁在何时为何改变了什么,这支持审计和学习。见主题 3.4 — 变更赋能。

GitOps。 一种运营方法,其中 Git 仓库保存期望状态,一个自动化代理使运行中的系统与之保持一致。变更只通过更改仓库来进行;代理拉取并应用它们,并回退手工变更。维基百科在 DevOps 条目下提到了 GitOps。基于拉取的设计意味着生产系统拉取自己的配置,所以生产环境的凭据不必存放在构建系统中。有关该方法的细节,请查阅项目自己的文档。

调谐循环。 一个控制器反复比较期望状态与实际状态,并采取行动缩小差距。这一理念来自控制理论(control theory,维基百科有描述),也是 Kubernetes 和 GitOps 工具工作的基础。循环有韧性,但也能迅速重复一项糟糕的变更。

环境与晋升。 同样的定义,配上不同的值,创建开发、测试和生产环境。变更在它们之间晋升。保持各环境一致使测试更有意义。见主题 3.5 — 发布与部署管理。

策略即代码。 关于什么被允许的规则,比如“不得有公开存储”或“所有资源都必须打标签”,写成代码并在变更应用之前自动检查。这使控制措施落在变更发生之处,并产生证据。见主题 6.4 — 流水线与自动化变更。

机密。 密码、密钥和令牌不得以明文存放在代码仓库中。使用机密管理器或加密,并给自动化最低限度的、短期的访问权限。见主题 3.13 — 信息安全管理。

模块与复用。 针对常见模式,如标准网络或数据库的共享、经过测试的模块,加快工作并强制执行标准。它们需要负责人、版本和发布说明。

波及范围(blast radius)。 共享定义中的一个错误可能同时影响许多系统。通过把状态拆分为更小的单元、使用分阶段推出,以及对共享模块要求评审来限制它。

测试基础设施代码。 方法包括语法和策略检查、应用之前对变更的计划或预览、在一次性环境中的测试,以及应用之后的检查。维基百科在测试自动化(test automation)条目下描述了相关理念。见主题 2.2 — 持续交付。

这些视角如何契合。 IaC 和 GitOps 是敏捷运维的工程基础:小的、经评审的、可逆的变更。AI 可以起草定义并解释计划,需要人工审查。自动化负责应用它们。分析从历史中读取变更频率和失败情况。

最佳实践

  1. 把每项变更都放进代码。 让代码仓库成为改变重要系统的途径,并禁止手工变更,已定义的紧急情况除外。记录紧急变更并将其并回代码。
  2. 使用评审和小变更。 要求另一个人评审每项变更,并让变更小到足以理解。展示将发生什么变化的预览。
  3. 倾向于声明式定义和幂等步骤。 它们更易于重复,也更易于检查漂移。对需要的任务谨慎地使用命令式脚本。
  4. 检测并纠正漂移。 按计划或持续地将实际状态与期望状态作比较。对每种漂移,决定是自动回退还是告警。
  5. 让机密远离代码。 使用机密管理器,必要时加密,给自动化短期的凭据,并扫描代码仓库中泄露的机密。
  6. 保护状态和代码仓库。 限制谁可以更改生产定义和状态,强制执行分支保护,并备份代码仓库和状态。
  7. 应用之前先测试。 运行策略检查、预览,并在一次性环境中测试。审阅计划中是否有意外的删除。
  8. 限制波及范围。 把定义拆分为可以独立失效的单元,分阶段推出,并保护关键资源免遭意外删除。
  9. 复用有负责人的、经过测试的模块。 为标准模式发布带版本的模块,附有文档和发布说明,并淘汰旧版本。
  10. 规划恢复。 演练从代码重建环境,包括数据恢复,并计时。把代码仓库和工具纳入你的连续性计划。见主题 3.12 — 服务连续性管理。

与团队讨论的问题

我们的哪些系统今天可以从代码重建?哪些只能凭记忆重建? 列一份清单。预期许多依赖于某一个人。追问:选择一个系统,用代码定义它。

上一次有人手工更改生产环境是什么时候?我们是怎么发现的? 询问故事。预期没人跟踪这一点。追问:为一个环境添加漂移检测,并商定发现差异时怎么办。

机密可能在哪里躺在代码仓库或状态文件里? 一起搜索。预期会有意外。追问:扫描代码仓库,并把发现的内容移入机密管理器。

一次应用所能做的最大变更是什么?我们如何限制它? 想想共享模块和庞大的单体状态。预期答案令人不安。追问:把一个庞大的状态拆分成较小的几个。

我们如何评审基础设施变更?评审人实际上看什么? 索要一次近期的评审。预期是快速批准。追问:商定评审人必须检查什么,比如计划输出和安全影响。

AI 能在哪里帮助我们编写或评审基础设施代码?我们如何检查? AI 可以起草定义并解释计划。它也可能产生不安全的默认值或错误的资源设置。问问谁评审以及运行哪些检查。追问:让 AI 起草的代码通过与任何其他代码相同的策略检查。

实践:一个服务管理示例

一家国家图书馆的数字团队在公有云上运行一项目录检索服务。这些环境是多年来手工搭建的。测试环境与生产环境之间有些差异,没有人能列举,最近的一次中断被追溯到在更早的一次事件中手工做出、从未记录的安全组变更。

平台负责人选择用代码定义一个环境作为试点。团队使用一款声明式工具,描述测试环境的网络、计算、数据库和访问规则,导入现有资源,并把代码放入带分支保护和强制评审的代码仓库。一条流水线运行策略检查,如不得有公开存储和必须有标签,并在每个拉取请求上显示计划。机密移入云服务商的机密管理器。

然后他们添加了漂移检测:一项夜间作业将代码与云的实际状态作比较,并把差异发布到团队频道。第一周它发现了十一项手工变更。八项无害,两项是过期的测试资源,还有一项是数据库端口上的一条开放的防火墙规则。他们修复了这条规则并删除了这些资源。

三个月后,生产环境也纳入了代码,容器平台中一个 GitOps 风格的控制器从代码仓库应用经批准的变更。从零重建测试环境需要 40 分钟。团队在一个独立账户中演练了重建生产环境,包括数据恢复,用了半天。

变化在于:变更历史在代码仓库里,评审是真实的,两个环境相互匹配。仍然困难的是:较旧的数据库服务器没有得到工具很好的支持,仍有部分是手工的;状态文件曾包含一个来自更早的一次导入的明文密码,团队不得不轮换它;有一名工程师用一台工具版本不同的笔记本电脑应用了一项变更,产生了意外的差异。负责人在流水线中固定了工具版本,规定应用只能来自流水线,并对状态进行机密扫描。

四种视角

产品与交付团队

把你服务的基础设施用代码定义在应用旁边,加以评审,并在一次性环境中测试。避免手工变更。把标签、所有权和安全设置纳入定义。

服务与运维团队

把代码仓库用作变更的记录,并检测漂移。仔细审阅计划,保护状态和机密,并演练重建。使紧急变更罕见,并将其并回代码。

领导层与治理

要求来自代码仓库和流水线的证据,而不是会议。为工具、培训和演练出资。明确说明手工的生产变更是必须被记录的例外。

客户与用户

你受益于行为一致的环境和更快的恢复。你应当在变更之后看到更少的意外,以及对重大变更的清晰通知。

敏捷、AI、自动化与分析

敏捷

小的、经评审的、可逆的基础设施变更,配合快速反馈,是持续交付在运维上的形式。增量地构建定义,从最令人头疼的环境开始。注意:一次性地把每个系统都迁移到代码是有风险的;一次迁移一个。

AI

AI 可以起草定义、解释计划并建议策略规则,每项变更都由人审查。为每种用法指定负责人。注意:生成的基础设施代码可能默认不安全,或可能删除资源;应用同样的策略检查并阅读计划。见主题 5.4 — 面向事件、知识与变更的生成式 AI。

自动化

IaC 和 GitOps 是基础设施本身的自动化。让控制器和流水线保持最小权限、有日志且受到保护,因为它们可以改变一切。注意:自动调谐器会把一个错误到处重新应用;分阶段推出,并保留暂停它的办法。见主题 6.4 — 流水线与自动化变更。

分析

查看变更频率、失败率、重建时间、漂移数量、发现手工变更的时间,以及策略违规。注意:统计提交次数会奖励活动,而较低的漂移数量可能反映的是薄弱的检测器;用一项已知的变更测试检测能力。见《服务管理度量》一书和主题 7.3 — 度量与报告。

常见失败模式

  • 混合现实。 有些变更在代码中,有些是手工的。漂移增长。让代码成为唯一途径并检测漂移。
  • 代码仓库中的机密。 凭据泄露。使用机密管理器并扫描。
  • 庞大的共享状态。 一项变更影响一切。拆分成较小的单元。
  • 未经评审的变更。 错误到达生产环境。要求评审并显示计划。
  • 未固定的工具和模块。 行为意外改变。固定版本。
  • 从未重建。 需要时恢复失败。演练重建。
  • 流水线是超级用户。 被攻破的流水线拥有生产环境。限制权限并加以保护。

成熟度模型

维度 起步 发展 标准化 管理 协同
覆盖 手工 一些资源在代码中 大多数重要系统在代码中定义 跟踪覆盖与例外 整个资产作为代码被定义和治理
控制 无评审 同行评审 对每项变更进行评审、计划预览和策略检查 检测并处理漂移 在人的监督下跨环境调谐
安全 机密在代码中 有意识 机密被管理和扫描,自动化为最小权限 将发现跟踪到关闭 安全和策略嵌入共享模块
恢复 凭记忆重建 有文档 重建经过演练并计时 度量并改进恢复时间 跨环境和区域自动化恢复

检查清单

  • 重要系统用代码在版本控制中定义。
  • 每项变更都经过评审并显示计划预览。
  • 禁止手工的生产变更,已记录的紧急情况除外。
  • 按计划检测漂移,并按规则处理。
  • 机密存放在管理器中,并扫描代码仓库和状态。
  • 工具和模块被固定并有负责人。
  • 定义被拆分以限制波及范围。
  • 我们演练重建环境并记录时间。

AI 提示词

评审计划输出。

这是一项基础设施变更的计划输出:[粘贴]。
请列出将被创建、更改和销毁的资源,突出任何数据存储或网络组件的删除或替换,并列出评审人应当问的问题。不要批准或拒绝。
请列出你不确定的事项。

根据要求起草策略规则。

我们的要求:[列表,例如不得有公开存储、必须打标签、静态数据加密]。我们的工具:[名称,或“未定”]。
请把每项要求写成一条通俗语言的规则,附一个违规的例子,并描述如何测试这条规则。除非我指明工具,否则不要写代码。
请列出你不确定的事项。

总结漂移发现。

这是一份列出代码与运行环境之间差异的漂移报告:[粘贴]。
请按类型(多余的资源、更改的设置、缺失的资源)对差异分组,标出任何涉及访问、网络或加密的,并为每组写出一个向团队提出的问题。不要建议修复。
请列出你不确定的事项。

AI 技能

主要来源

  • Kief Morris,Infrastructure as Code(第 2 版,2020):关于定义和管理基础设施的实用指南。
  • Jez Humble 和 David Farley,Continuous Delivery(2010):可重复环境和流水线的基础。
  • 你所使用工具的文档,如 Terraform、Ansible 和 Kubernetes:关于其行为的权威来源。
  • Wikipedia, "Infrastructure as code":对这一方法的概述。

参考文献

  1. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  2. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  3. Declarative programming — Wikipedia — https://en.wikipedia.org/wiki/Declarative_programming
  4. Imperative programming — Wikipedia — https://en.wikipedia.org/wiki/Imperative_programming
  5. Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
  6. Git — Wikipedia — https://en.wikipedia.org/wiki/Git
  7. Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
  8. Code review — Wikipedia — https://en.wikipedia.org/wiki/Code_review
  9. Containerization (computing) — Wikipedia — https://en.wikipedia.org/wiki/Containerization_(computing)
  10. Control theory — Wikipedia — https://en.wikipedia.org/wiki/Control_theory
  11. Kubernetes — Wikipedia — https://en.wikipedia.org/wiki/Kubernetes
  12. Terraform (software) — Wikipedia — https://en.wikipedia.org/wiki/Terraform_(software)