为什么这很重要

凌晨 2 点数据库服务器出故障时,第一个问题是什么依赖于它。有人提议更改一条网络规则时,第一个问题是它可能破坏什么。审计员询问某项服务是如何构建的时候,第一个问题是真相写在哪里。这三个问题需要的是同一样东西:一幅关于现有事物及其各部分如何关联的、最新而可信的图景。

许多组织试图用配置管理数据库(CMDB)来提供它:一个存放配置项及其关系的数据库。许多组织也发现它成了陈旧记录的坟场,靠手工维护,没人信任。记录在几周内就过时,因为实际的环境变化得比任何人更新表单都快。CMDB 成了合规的摆设,而不是工具。

有两个理念能挽救这项实践。第一,把基础设施的定义当作代码放在版本控制中,使事实来源是创建系统的东西,而不是对它的描述。第二,从发现机制和该代码自动填充这幅图景,并把它用于具体的问题:变更的影响、事件的范围、所有权。本主题解释这项实践和陷阱。它与资产管理(主题 4.1 — 资产管理)、变更赋能(主题 3.4 — 变更赋能)、基础设施即代码(主题 6.3 — 基础设施即代码与 GitOps)以及服务目录(主题 3.8 — 服务目录管理)相联系。

核心概念

配置管理。 在 ITIL 的意义上,指确保关于服务及支持它们的配置项的配置的准确可靠的信息,在需要的时间和地点可用的实践。在工程中,“配置管理”也指把系统维持在已知、一致状态的学科。维基百科描述了更广义的配置管理(configuration management)。本指南两种含义都用,并会说明是哪一种。

配置项(CI)。 为交付某项 IT 服务而需要管理的任何组件。维基百科描述了配置项(configuration item)。例子包括服务器、应用、数据库、网络设备、云资源、证书,有时还包括文档和合同。每个 CI 都有属性(类型、版本、负责人、状态)以及与其他 CI 的关系。

配置管理数据库(CMDB)。 存放 CI、其属性及其关系的仓库。维基百科描述了 CMDB。CMDB 不是资产的电子表格:它的价值在于关系,关系使得“哪些服务使用这个数据库?”之类的问题成为可能。

配置管理系统(CMS)。 跨来源给出配置视图的、更广泛的工具与数据集合。ITIL 描述的 CMS 是联合多个地方的数据,而不是单一数据库。维基百科描述了联邦数据库系统(federated database system),这是一种无需复制就能组合多个来源的方式。

服务地图。 显示服务如何依赖其组件的视图。技术服务地图将应用、数据库、服务器和网络联系起来。业务视图则将服务与它们所支持的人员和流程联系起来。地图用于事件和变更。见主题 3.8 — 服务目录管理。

基线与漂移。 基线是某一时间点已知、已批准的配置。漂移是基线与实际运行内容之间的差异,往往源于手工变更。维基百科描述了配置管理中的基线(baseline)。检测并纠正漂移使系统保持一致和安全。

基础设施即代码(IaC)。 用存放在版本控制中、由工具应用的文本文件来定义基础设施,如服务器、网络和云资源。维基百科描述了基础设施即代码(infrastructure as code)。Terraform、Ansible 和 Kubernetes 清单等工具表达期望状态,由工具使现实与之相符。代码既是文档,也是机制。见主题 6.3 — 基础设施即代码与 GitOps。

幂等性与期望状态。 好的配置工具可以反复运行并得到相同的结果:它们只做达到所述状态所需的事情。维基百科描述了幂等性(idempotence)。这使重复应用配置来检测并修复漂移变得安全。

事实来源(source of truth)。 某项事实具有权威性的地方。对于期望配置,它是代码仓库;对于实际运行的内容,它是发现机制或平台自身的状态;对于所有权,它可能是目录或团队登记册。为每种事实确定来源,避免在两个地方手工保存同一事实。维基百科描述了单一事实来源(single source of truth)的理念。

发现。 扫描网络、云账户和平台,找出存在什么以及它们如何连接的工具。发现能找出没人记录的东西,但它产生大量细节和一些噪音,需要有关于保留哪些条目以及如何命名的规则。

关系与影响分析。 知道应用 A 使用数据库 B,就能问如果 B 变更或出故障会影响什么。维基百科描述了变更影响分析(change impact analysis)和依赖图。维基百科描述的图数据库(graph database)是存储和查询关系的一种方式。影响分析的好坏取决于所记录的关系。

数据质量。 准确性、完整性和及时性决定数据的价值。定义哪些属性重要以及它们必须多新。少量准确的数据比大量不可靠的数据更有用。见主题 7.2 — 数据基础与治理。

范围。 不要试图记录一切。选择你作决策所需的 CI 和关系:关键服务、其主要组件及其所有权。随着价值的显现再扩展。

所有权。 每个 CI 或每组 CI 都有一位负责人,对它及其数据负责。没有所有权,数据就会衰败。

容器与云。 现代平台不断创建和销毁资源。对一个容器的记录在一小时后就毫无意义。在重要的层面上跟踪,比如服务和部署,并使用标签把资源与负责人和服务联系起来。

这些视角如何契合。 配置管理通过使环境可重复,支持敏捷和持续交付。AI 可以帮助发现关系、建议缺失的链接并回答关于影响的问题,需要人工审查。自动化应用配置并保持图景最新。分析利用数据发现风险和成本。

最佳实践

  1. 从你需要回答的问题开始。 列出数据将支持的决策,比如变更的影响、事件的范围和所有权。只记录能回答它们的内容。
  2. 把代码作为期望状态的事实来源。 在版本控制中定义基础设施和配置,评审变更,并用工具应用它们。避免对运行中的系统进行手工变更。
  3. 自动填充图景。 利用发现和平台数据为 CMDB 或服务地图提供数据,并与代码对账。把手工录入限制在无法被发现的事实,比如所有权。
  4. 定义每项事实的来源。 对每个属性,决定它在哪里具有权威性,以及在哪里允许副本。显示来源和最后更新时间。
  5. 先梳理关键服务。 为最重要的服务建立服务地图,包括对供应商和共享平台的依赖。用真实的事件或变更来检验。
  6. 检测并修复漂移。 按计划将实际状态与期望状态作比较,并对差异告警。把反复出现的漂移视为关于流程或访问权限的信号。
  7. 为每个条目和数据质量指定负责人。 在记录中显示负责人。定期评审过时的记录和孤儿记录。
  8. 把配置链接到变更和事件记录。 使人们容易从变更看出它触及哪些 CI,从事件看出涉及哪些 CI。检查这些链接是否被使用。
  9. 一致地使用标签。 在云环境中,要求在创建时就为负责人、服务和环境打标签,并在流水线中强制执行。
  10. 度量有用程度。 跟踪数据在变更和事件中被使用的频率,以及出错的频率。修复原因,并淘汰没人使用的数据。

与团队讨论的问题

我们希望配置数据支持哪些决策?它今天支持它们吗? 从使用出发。预期会有变更的影响和事件的范围之类的答案。在最近的一次变更上试一试。追问:选择一种用途,并用它检验数据。

我们基础设施的真实描述在哪里:代码中、数据库里,还是人们的脑海里? 询问三个系统的事实来源。预期会有多个答案。追问:选择一个系统,把它的定义移入版本控制。

CMDB 上一次误导我们是什么时候?为什么? 索要真实案例。预期是过时或缺失的关系。寻找原因,比如手工录入。追问:选择一个数据源去自动化。

有人手工修改运行中的系统时,我们如何发现? 这个问题检验漂移检测。预期会听到“我们发现不了”。追问:商定对一个系统进行扫描,并规定接下来怎么办。

我们每个关键配置项的负责人是谁?凌晨 3 点我们如何找到负责人? 问问所有权记录在哪里。拿几个条目试一试。追问:添加负责人标签并检查它们。

AI 如何帮助保持我们的配置图景准确?我们又希望手工核对什么? AI 可以建议关系并发现异常。它也可能编造链接。问问谁负责这种用法,如何发现错误。追问:把 AI 建议的关系与针对某项服务人工核实的地图作比较。

实践:一个服务管理示例

一家国家铁路公司的数字团队运行着一个票务平台,由跨两家云服务商和一个老旧本地数据中心的约 60 项服务组成。CMDB 中有 40,000 条记录,大多是手工录入的,运维团队说它大约三分之一的时间是错的。在最近的一次中断中,一个失效的消息队列使售票停止;直到客户抱怨,才有人意识到忠诚度计划也在使用它。

平台负责人设定了一个更窄的目标:对于最关键的十项服务,服务地图必须足够准确,能在五分钟内回答“如果这个组件出故障,什么会受到影响?”团队用代码定义这十项服务,并在定义中以标签形式声明负责人和依赖。一项夜间作业读取云平台和代码仓库,构建地图,并标出二者之间的差异。数据中心由发现机制覆盖,其输出与相同的服务名称相匹配,并对新条目做人工评审。

一个季度之内,这十项服务的地图得到了信任。在下一次事件中,支付服务中一个出故障的数据库显示出读取它的五项服务,团队在几分钟内通知了它们的负责人。一份漂移报告发现了生产环境中的 14 项手工变更,其中三项是在一次旧事件中打开、之后再也没有关闭的安全组规则。

变化在于:事件和变更现在从一张地图开始,这些服务的旧 CMDB 被退役。仍然困难的是:其余 50 项服务尚未覆盖,拥有它们的团队看不出有什么理由去做这项工作;数据中心的发现仍然产生噪音;还有一些依赖,比如供应商的 API,无法被发现,只能手工录入。平台负责人根据事件历史选择下一批十项服务,并与它们的负责人协商时间。

四种视角

产品与交付团队

用代码定义你的基础设施和配置,给资源打上负责人和服务的标签,避免对运行中的系统进行手工变更。把保持依赖信息最新作为你设计的一部分。

服务与运维团队

在事件和变更中使用地图,并报告它在哪里有误。检测漂移,关闭临时变更,并保持所有权数据最新。

领导层与治理

要求提供数据被使用且准确的证据,而不是记录的数量。为自动化和所有权纪律出资。支持“运行中的变更必须经过代码”这一规则。

客户与用户

当提供者知道什么依赖什么时,你会受益:诊断更快,变更带来的意外更少。问问你所依赖的服务是否有负责人和影响地图。

敏捷、AI、自动化与分析

敏捷

小步建立图景,从最关键的服务开始,并与使用它的人一起改进。在事件之后评审其有用程度。注意:一次性的大型 CMDB 项目会重蹈旧的失败;从问题和少数几项服务开始。

AI

AI 可以根据日志和追踪建议关系、用自然语言回答关于影响的问题并找出离群点,需要有负责人和人工核实。注意:AI 可能推断出并不存在的依赖,或遗漏真实的依赖;要对照已知事件验证。见主题 5.2 — AIOps。

自动化

自动化发现、对账、漂移检测和标签的强制执行,带有日志,并评审例外情况。注意:自动导入可能使数据库充斥着低价值的记录;按能否支持决策来过滤。见主题 6.3 — 基础设施即代码与 GitOps。

分析

查看关键服务的数据完整性、事件中发现的准确性、漂移数量、找到负责人的时间,以及数据在变更中的使用情况。注意:统计记录数或已填写的字段会鼓励数量而非准确性;要度量数据帮上忙的频率和误导的频率。见《服务管理度量》一书和主题 7.2 — 数据基础与治理。

常见失败模式

  • 手工填充的 CMDB。 数据迅速衰败。通过发现和代码来填充。
  • 什么都记录。 噪音掩盖价值。把范围限定在决策所需。
  • 同一事实有两个来源。 它们相互矛盾。声明一个来源。
  • 没有所有权。 没人纠正错误。指定负责人。
  • 对运行中的系统进行手工变更。 漂移增长。通过代码变更并检测漂移。
  • 缺少关系。 影响分析失败。先梳理关键服务。
  • 跟踪短暂的资源。 记录瞬间就过时。在服务层面跟踪,并使用标签。

成熟度模型

维度 起步 发展 标准化 管理 协同
范围 不明确 列出主要服务器 梳理了关键服务及其依赖 根据价值和事件扩展范围 在整个资产和供应商之间广泛覆盖
事实来源 电子表格和记忆 一些基础设施在代码中 期望状态在代码中,实际状态靠发现 对账自动化并受监控 由代码、发现和平台提供数据的单一协调视图
数据质量 未知 抽查 已定义属性和新鲜度 在事件和变更中度量准确性 在人工复核下持续保证质量
使用 很少使用 在一些事件中使用 常规用于变更和事件 跟踪使用和价值 数据驱动跨服务的风险、成本和规划

检查清单

  • 我们列出了配置数据必须回答的问题。
  • 关键系统的期望状态存放在版本控制中。
  • 发现机制为我们的服务地图提供数据,并与代码对账。
  • 每项事实都有定义好的事实来源。
  • 关键服务已梳理依赖,并用真实事件检验过。
  • 我们检测并纠正配置漂移。
  • 每个配置项或每组配置项都有负责人。
  • 我们度量数据帮上忙的频率和误导的频率。

AI 提示词

从一次事件中找出缺失的依赖。

这是一次事件的时间线,以及受影响的服务:[粘贴]。这是我们针对出故障组件的服务地图:[粘贴]。
请列出地图中未显示依赖于该出故障组件的受影响服务,并为每个给出一个用于验证该链接的问题。在时间线中没有证据的情况下,不要推断依赖。
请列出你不确定的事项。

比较期望状态与实际状态。

这是我们代码中的期望配置:[粘贴]。这是发现机制发现的运行内容:[粘贴]。
请按类型(缺失、多余、变更)列出差异,并为每一项给出一个关于其为何不同的问题。不要建议修复。
请列出你不确定的事项。

起草负责人标签规则。

我们的云资源由这些团队和服务使用:[列表]。我们希望每个资源上都有的标签:[列表]。
请起草一份不超过一页的标签标准,包含规则、允许的值,以及如何在流水线中强制执行。除非我列出,否则不要点名具体的工具。
请列出你不确定的事项。

AI 技能

主要来源

  • PeopleCert, ITIL certification pages:所有者对服务配置管理实践的描述。
  • Kief Morris,Infrastructure as Code(第 2 版,2020):用代码定义和管理基础设施的实用指南。
  • Wikipedia, "Configuration management" 和 "Configuration management database":对这些理念的概述。
  • Wikipedia, "Infrastructure as code":针对期望状态的工程方法。

参考文献

  1. Configuration management — Wikipedia — https://en.wikipedia.org/wiki/Configuration_management
  2. Configuration management database — Wikipedia — https://en.wikipedia.org/wiki/Configuration_management_database
  3. Configuration item — Wikipedia — https://en.wikipedia.org/wiki/Configuration_item
  4. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  5. Baseline (configuration management) — Wikipedia — https://en.wikipedia.org/wiki/Baseline_(configuration_management)
  6. Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
  7. Single source of truth — Wikipedia — https://en.wikipedia.org/wiki/Single_source_of_truth
  8. Change impact analysis — Wikipedia — https://en.wikipedia.org/wiki/Change_impact_analysis
  9. Graph database — Wikipedia — https://en.wikipedia.org/wiki/Graph_database
  10. Federated database system — Wikipedia — https://en.wikipedia.org/wiki/Federated_database_system
  11. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality