配置管理
配置管理保持一幅准确、可用的图景,说明构成你服务的组件及其连接方式,使你能判断变更或故障的影响;现代团队从基础设施即代码和发现机制获得这幅图景,配置数据库只是对它的一个视图,而不是手工维护的清单。
为什么这很重要
凌晨 2 点数据库服务器出故障时,第一个问题是什么依赖于它。有人提议更改一条网络规则时,第一个问题是它可能破坏什么。审计员询问某项服务是如何构建的时候,第一个问题是真相写在哪里。这三个问题需要的是同一样东西:一幅关于现有事物及其各部分如何关联的、最新而可信的图景。
许多组织试图用配置管理数据库(CMDB)来提供它:一个存放配置项及其关系的数据库。许多组织也发现它成了陈旧记录的坟场,靠手工维护,没人信任。记录在几周内就过时,因为实际的环境变化得比任何人更新表单都快。CMDB 成了合规的摆设,而不是工具。
有两个理念能挽救这项实践。第一,把基础设施的定义当作代码放在版本控制中,使事实来源是创建系统的东西,而不是对它的描述。第二,从发现机制和该代码自动填充这幅图景,并把它用于具体的问题:变更的影响、事件的范围、所有权。本主题解释这项实践和陷阱。它与资产管理(主题 4.1 — 资产管理)、变更赋能(主题 3.4 — 变更赋能)、基础设施即代码(主题 6.3 — 基础设施即代码与 GitOps)以及服务目录(主题 3.8 — 服务目录管理)相联系。
核心概念
配置管理。 在 ITIL 的意义上,指确保关于服务及支持它们的配置项的配置的准确可靠的信息,在需要的时间和地点可用的实践。在工程中,“配置管理”也指把系统维持在已知、一致状态的学科。维基百科描述了更广义的配置管理(configuration management)。本指南两种含义都用,并会说明是哪一种。
配置项(CI)。 为交付某项 IT 服务而需要管理的任何组件。维基百科描述了配置项(configuration item)。例子包括服务器、应用、数据库、网络设备、云资源、证书,有时还包括文档和合同。每个 CI 都有属性(类型、版本、负责人、状态)以及与其他 CI 的关系。
配置管理数据库(CMDB)。 存放 CI、其属性及其关系的仓库。维基百科描述了 CMDB。CMDB 不是资产的电子表格:它的价值在于关系,关系使得“哪些服务使用这个数据库?”之类的问题成为可能。
配置管理系统(CMS)。 跨来源给出配置视图的、更广泛的工具与数据集合。ITIL 描述的 CMS 是联合多个地方的数据,而不是单一数据库。维基百科描述了联邦数据库系统(federated database system),这是一种无需复制就能组合多个来源的方式。
服务地图。 显示服务如何依赖其组件的视图。技术服务地图将应用、数据库、服务器和网络联系起来。业务视图则将服务与它们所支持的人员和流程联系起来。地图用于事件和变更。见主题 3.8 — 服务目录管理。
基线与漂移。 基线是某一时间点已知、已批准的配置。漂移是基线与实际运行内容之间的差异,往往源于手工变更。维基百科描述了配置管理中的基线(baseline)。检测并纠正漂移使系统保持一致和安全。
基础设施即代码(IaC)。 用存放在版本控制中、由工具应用的文本文件来定义基础设施,如服务器、网络和云资源。维基百科描述了基础设施即代码(infrastructure as code)。Terraform、Ansible 和 Kubernetes 清单等工具表达期望状态,由工具使现实与之相符。代码既是文档,也是机制。见主题 6.3 — 基础设施即代码与 GitOps。
幂等性与期望状态。 好的配置工具可以反复运行并得到相同的结果:它们只做达到所述状态所需的事情。维基百科描述了幂等性(idempotence)。这使重复应用配置来检测并修复漂移变得安全。
事实来源(source of truth)。 某项事实具有权威性的地方。对于期望配置,它是代码仓库;对于实际运行的内容,它是发现机制或平台自身的状态;对于所有权,它可能是目录或团队登记册。为每种事实确定来源,避免在两个地方手工保存同一事实。维基百科描述了单一事实来源(single source of truth)的理念。
发现。 扫描网络、云账户和平台,找出存在什么以及它们如何连接的工具。发现能找出没人记录的东西,但它产生大量细节和一些噪音,需要有关于保留哪些条目以及如何命名的规则。
关系与影响分析。 知道应用 A 使用数据库 B,就能问如果 B 变更或出故障会影响什么。维基百科描述了变更影响分析(change impact analysis)和依赖图。维基百科描述的图数据库(graph database)是存储和查询关系的一种方式。影响分析的好坏取决于所记录的关系。
数据质量。 准确性、完整性和及时性决定数据的价值。定义哪些属性重要以及它们必须多新。少量准确的数据比大量不可靠的数据更有用。见主题 7.2 — 数据基础与治理。
范围。 不要试图记录一切。选择你作决策所需的 CI 和关系:关键服务、其主要组件及其所有权。随着价值的显现再扩展。
所有权。 每个 CI 或每组 CI 都有一位负责人,对它及其数据负责。没有所有权,数据就会衰败。
容器与云。 现代平台不断创建和销毁资源。对一个容器的记录在一小时后就毫无意义。在重要的层面上跟踪,比如服务和部署,并使用标签把资源与负责人和服务联系起来。
这些视角如何契合。 配置管理通过使环境可重复,支持敏捷和持续交付。AI 可以帮助发现关系、建议缺失的链接并回答关于影响的问题,需要人工审查。自动化应用配置并保持图景最新。分析利用数据发现风险和成本。
最佳实践
- 从你需要回答的问题开始。 列出数据将支持的决策,比如变更的影响、事件的范围和所有权。只记录能回答它们的内容。
- 把代码作为期望状态的事实来源。 在版本控制中定义基础设施和配置,评审变更,并用工具应用它们。避免对运行中的系统进行手工变更。
- 自动填充图景。 利用发现和平台数据为 CMDB 或服务地图提供数据,并与代码对账。把手工录入限制在无法被发现的事实,比如所有权。
- 定义每项事实的来源。 对每个属性,决定它在哪里具有权威性,以及在哪里允许副本。显示来源和最后更新时间。
- 先梳理关键服务。 为最重要的服务建立服务地图,包括对供应商和共享平台的依赖。用真实的事件或变更来检验。
- 检测并修复漂移。 按计划将实际状态与期望状态作比较,并对差异告警。把反复出现的漂移视为关于流程或访问权限的信号。
- 为每个条目和数据质量指定负责人。 在记录中显示负责人。定期评审过时的记录和孤儿记录。
- 把配置链接到变更和事件记录。 使人们容易从变更看出它触及哪些 CI,从事件看出涉及哪些 CI。检查这些链接是否被使用。
- 一致地使用标签。 在云环境中,要求在创建时就为负责人、服务和环境打标签,并在流水线中强制执行。
- 度量有用程度。 跟踪数据在变更和事件中被使用的频率,以及出错的频率。修复原因,并淘汰没人使用的数据。
与团队讨论的问题
我们希望配置数据支持哪些决策?它今天支持它们吗? 从使用出发。预期会有变更的影响和事件的范围之类的答案。在最近的一次变更上试一试。追问:选择一种用途,并用它检验数据。
我们基础设施的真实描述在哪里:代码中、数据库里,还是人们的脑海里? 询问三个系统的事实来源。预期会有多个答案。追问:选择一个系统,把它的定义移入版本控制。
CMDB 上一次误导我们是什么时候?为什么? 索要真实案例。预期是过时或缺失的关系。寻找原因,比如手工录入。追问:选择一个数据源去自动化。
有人手工修改运行中的系统时,我们如何发现? 这个问题检验漂移检测。预期会听到“我们发现不了”。追问:商定对一个系统进行扫描,并规定接下来怎么办。
我们每个关键配置项的负责人是谁?凌晨 3 点我们如何找到负责人? 问问所有权记录在哪里。拿几个条目试一试。追问:添加负责人标签并检查它们。
AI 如何帮助保持我们的配置图景准确?我们又希望手工核对什么? AI 可以建议关系并发现异常。它也可能编造链接。问问谁负责这种用法,如何发现错误。追问:把 AI 建议的关系与针对某项服务人工核实的地图作比较。
实践:一个服务管理示例
一家国家铁路公司的数字团队运行着一个票务平台,由跨两家云服务商和一个老旧本地数据中心的约 60 项服务组成。CMDB 中有 40,000 条记录,大多是手工录入的,运维团队说它大约三分之一的时间是错的。在最近的一次中断中,一个失效的消息队列使售票停止;直到客户抱怨,才有人意识到忠诚度计划也在使用它。
平台负责人设定了一个更窄的目标:对于最关键的十项服务,服务地图必须足够准确,能在五分钟内回答“如果这个组件出故障,什么会受到影响?”团队用代码定义这十项服务,并在定义中以标签形式声明负责人和依赖。一项夜间作业读取云平台和代码仓库,构建地图,并标出二者之间的差异。数据中心由发现机制覆盖,其输出与相同的服务名称相匹配,并对新条目做人工评审。
一个季度之内,这十项服务的地图得到了信任。在下一次事件中,支付服务中一个出故障的数据库显示出读取它的五项服务,团队在几分钟内通知了它们的负责人。一份漂移报告发现了生产环境中的 14 项手工变更,其中三项是在一次旧事件中打开、之后再也没有关闭的安全组规则。
变化在于:事件和变更现在从一张地图开始,这些服务的旧 CMDB 被退役。仍然困难的是:其余 50 项服务尚未覆盖,拥有它们的团队看不出有什么理由去做这项工作;数据中心的发现仍然产生噪音;还有一些依赖,比如供应商的 API,无法被发现,只能手工录入。平台负责人根据事件历史选择下一批十项服务,并与它们的负责人协商时间。
四种视角
产品与交付团队
用代码定义你的基础设施和配置,给资源打上负责人和服务的标签,避免对运行中的系统进行手工变更。把保持依赖信息最新作为你设计的一部分。
服务与运维团队
在事件和变更中使用地图,并报告它在哪里有误。检测漂移,关闭临时变更,并保持所有权数据最新。
领导层与治理
要求提供数据被使用且准确的证据,而不是记录的数量。为自动化和所有权纪律出资。支持“运行中的变更必须经过代码”这一规则。
客户与用户
当提供者知道什么依赖什么时,你会受益:诊断更快,变更带来的意外更少。问问你所依赖的服务是否有负责人和影响地图。
敏捷、AI、自动化与分析
敏捷
小步建立图景,从最关键的服务开始,并与使用它的人一起改进。在事件之后评审其有用程度。注意:一次性的大型 CMDB 项目会重蹈旧的失败;从问题和少数几项服务开始。
AI
AI 可以根据日志和追踪建议关系、用自然语言回答关于影响的问题并找出离群点,需要有负责人和人工核实。注意:AI 可能推断出并不存在的依赖,或遗漏真实的依赖;要对照已知事件验证。见主题 5.2 — AIOps。
自动化
自动化发现、对账、漂移检测和标签的强制执行,带有日志,并评审例外情况。注意:自动导入可能使数据库充斥着低价值的记录;按能否支持决策来过滤。见主题 6.3 — 基础设施即代码与 GitOps。
分析
查看关键服务的数据完整性、事件中发现的准确性、漂移数量、找到负责人的时间,以及数据在变更中的使用情况。注意:统计记录数或已填写的字段会鼓励数量而非准确性;要度量数据帮上忙的频率和误导的频率。见《服务管理度量》一书和主题 7.2 — 数据基础与治理。
常见失败模式
- 手工填充的 CMDB。 数据迅速衰败。通过发现和代码来填充。
- 什么都记录。 噪音掩盖价值。把范围限定在决策所需。
- 同一事实有两个来源。 它们相互矛盾。声明一个来源。
- 没有所有权。 没人纠正错误。指定负责人。
- 对运行中的系统进行手工变更。 漂移增长。通过代码变更并检测漂移。
- 缺少关系。 影响分析失败。先梳理关键服务。
- 跟踪短暂的资源。 记录瞬间就过时。在服务层面跟踪,并使用标签。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 范围 | 不明确 | 列出主要服务器 | 梳理了关键服务及其依赖 | 根据价值和事件扩展范围 | 在整个资产和供应商之间广泛覆盖 |
| 事实来源 | 电子表格和记忆 | 一些基础设施在代码中 | 期望状态在代码中,实际状态靠发现 | 对账自动化并受监控 | 由代码、发现和平台提供数据的单一协调视图 |
| 数据质量 | 未知 | 抽查 | 已定义属性和新鲜度 | 在事件和变更中度量准确性 | 在人工复核下持续保证质量 |
| 使用 | 很少使用 | 在一些事件中使用 | 常规用于变更和事件 | 跟踪使用和价值 | 数据驱动跨服务的风险、成本和规划 |
检查清单
- 我们列出了配置数据必须回答的问题。
- 关键系统的期望状态存放在版本控制中。
- 发现机制为我们的服务地图提供数据,并与代码对账。
- 每项事实都有定义好的事实来源。
- 关键服务已梳理依赖,并用真实事件检验过。
- 我们检测并纠正配置漂移。
- 每个配置项或每组配置项都有负责人。
- 我们度量数据帮上忙的频率和误导的频率。
AI 提示词
从一次事件中找出缺失的依赖。
这是一次事件的时间线,以及受影响的服务:[粘贴]。这是我们针对出故障组件的服务地图:[粘贴]。
请列出地图中未显示依赖于该出故障组件的受影响服务,并为每个给出一个用于验证该链接的问题。在时间线中没有证据的情况下,不要推断依赖。
请列出你不确定的事项。
比较期望状态与实际状态。
这是我们代码中的期望配置:[粘贴]。这是发现机制发现的运行内容:[粘贴]。
请按类型(缺失、多余、变更)列出差异,并为每一项给出一个关于其为何不同的问题。不要建议修复。
请列出你不确定的事项。
起草负责人标签规则。
我们的云资源由这些团队和服务使用:[列表]。我们希望每个资源上都有的标签:[列表]。
请起草一份不超过一页的标签标准,包含规则、允许的值,以及如何在流水线中强制执行。除非我列出,否则不要点名具体的工具。
请列出你不确定的事项。
AI 技能
- configuration-management:用于设计和维护配置记录与关系。
- workflow-analysis:用于追踪流程或系统中的依赖。
- mermaid-diagram:用于以文本方式绘制服务地图。
- data-quality:用于定义和检查配置数据的质量。
主要来源
- PeopleCert, ITIL certification pages:所有者对服务配置管理实践的描述。
- Kief Morris,Infrastructure as Code(第 2 版,2020):用代码定义和管理基础设施的实用指南。
- Wikipedia, "Configuration management" 和 "Configuration management database":对这些理念的概述。
- Wikipedia, "Infrastructure as code":针对期望状态的工程方法。
参考文献
- Configuration management — Wikipedia — https://en.wikipedia.org/wiki/Configuration_management
- Configuration management database — Wikipedia — https://en.wikipedia.org/wiki/Configuration_management_database
- Configuration item — Wikipedia — https://en.wikipedia.org/wiki/Configuration_item
- Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
- Baseline (configuration management) — Wikipedia — https://en.wikipedia.org/wiki/Baseline_(configuration_management)
- Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
- Single source of truth — Wikipedia — https://en.wikipedia.org/wiki/Single_source_of_truth
- Change impact analysis — Wikipedia — https://en.wikipedia.org/wiki/Change_impact_analysis
- Graph database — Wikipedia — https://en.wikipedia.org/wiki/Graph_database
- Federated database system — Wikipedia — https://en.wikipedia.org/wiki/Federated_database_system
- Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality