为什么这很重要

每项服务都存在变更与可靠性之间的张力。客户想要新功能,也想要服务正常工作。快速推进变更的团队会造成中断,而守护稳定的团队会拖慢一切。没有衡量二者的办法,争论就由嗓门最大的人,或最近一次事件来定夺。

站点可靠性工程提供了一种让这种取舍变得明确的方法。它从这样的想法出发:完美的可靠性既不可能也不被需要:当用户自己的设备和网络出故障的频率比这更高时,他们分辨不出 99.999% 与 99.99% 的可用性之间的区别,而每多一个“9”的成本都高得多。因此团队约定一个与用户需要相符的目标,度量它,并把目标与完美之间的空间用作风险的预算。

SRE 于 2000 年代初起源于 Google,并在该公司发布的在线书籍中有所描述。许多其他组织采用了其中的部分内容。对服务管理而言,它的价值在于,对 ITIL 所称的服务级别管理、可用性管理和持续改进等理念,给出了具体的、工程风格的版本。本主题解释其主要理念,并提醒不要在脱离其赖以奏效的背景的情况下照搬。

核心概念

SRE 是什么。 维基百科把站点可靠性工程描述为将软件工程的各方面应用于 IT 基础设施和运维的一组原则与实践,以创建可扩展且可靠的系统。SRE 团队通常包括具备软件和系统技能的人,他们将运维工作自动化,并参与可靠性方面的设计。

服务级别指标(SLI)。 对用户所体验到的服务某一方面的度量,例如成功请求的比例,或在 300 毫秒内完成的请求的比例。好的指标反映用户关心的东西,而不是容易度量的东西。

服务级别目标(SLO)。 针对某个指标在一段时间内的目标,例如“滚动 30 天内 99.9% 的请求成功”。该目标是运行服务的人与依赖服务的人之间商定的内部目标。维基百科把服务级别目标描述为服务级别协议的一部分。

服务级别协议(SLA)。 一份合同,如果服务低于约定水平就要承担后果,通常是经济上的。SLA 通常设定比内部 SLO 更宽松的目标,使团队在违约之前就有预警。见主题 3.7 — 服务级别管理。

错误预算。 允许的不可靠程度:如果目标是 99.9%,预算就是剩下的 0.1%。只要还有预算,团队就可以冒险,比如更快地发布。当预算用完时,团队放慢变更,并投入到可靠性上。预算使可靠性与变更之间的取舍成为一项共同的、可度量的决策,而不是一场争论。

繁琐工作(toil)。 手工的、重复的、可自动化的、战术性的,并随服务增长而增长却没有带来持久价值的工作。例子包括手工重启服务、手工处理同类请求,以及确认嘈杂的告警。SRE 实践限制花在繁琐工作上的时间比例,通常在一半左右,其余时间用于减少它的工程工作。

监控与告警。 告警应当可操作,并与用户能感受到的症状相联系,且有明确的响应。无人理会的嘈杂告警会教会人们忽略它们。见主题 3.10 — 监控与事态管理和主题 7.4 — 可观测性与遥测。

事件响应与无责复盘。 SRE 强调事件期间清晰的角色、沟通,以及事后审视系统并产生可跟踪行动项的结构化评审。见主题 3.2 — 事件管理和主题 3.3 — 问题管理。

容量与性能。 SRE 包括预测需求、测试极限和规划容量,使增长不致引发故障。见主题 3.11 — 可用性、容量与性能。

发布工程与变更。 可靠、可重复的发布,通常采用渐进式推出和自动回滚,是 SRE 工作的一部分。见主题 2.2 — 持续交付。

练习失败。 混沌工程在受控情况下有意注入故障,在真实事件发生之前发现弱点。演练日(game day)则演练响应。见主题 3.12 — 服务连续性管理。

SRE 与 DevOps。 二者共享许多理念。一种常见的说法是,SRE 是实现 DevOps 原则的一种方式,带有 SLO、错误预算和繁琐工作上限等一组特定实践。见主题 2.5 — DevOps。

SRE 与 ITIL。 SLO 和错误预算与服务级别管理并列;无责复盘与问题管理并列;减少繁琐工作支持持续改进。SRE 描述技术团队如何开展这类工作,而 ITIL 描述组织总体需要的实践。

照搬的局限。 SRE 是在一个规模和人员配置都很特殊的超大型工程组织中发展起来的。小团队无法也无需照搬它的结构。从几个理念开始:选择一个以用户为中心的指标,设定目标,并写下预算用完后要做什么。

这些视角如何契合。 SRE 在很大程度上是敏捷视角在在线服务上的工程一侧。AI 可以在人工审查下协助告警分诊和事件总结。自动化是对付繁琐工作的主要工具。分析提供 SLI,以及关于繁琐工作和事件的数据。

最佳实践

  1. 选择反映用户体验的指标。 问问用户会说什么叫“正常工作”:能加载的页面、能完成的支付、能到达的文件。度量这些,而不是 CPU 使用率。
  2. 与依赖服务的人一起设定目标。 商定一个符合真实需要的数字,写下周期以及如何度量。需求变化时重新审视。
  3. 用错误预算来作决策。 写下预算快用完时会发生什么,比如冻结高风险变更,以及由谁决定。在第一次真正需要之前就商定好。
  4. 让目标比协议更严格。 把内部目标设得使你在违反合同之前就能发现麻烦。见主题 3.7 — 服务级别管理。
  5. 统计并限制繁琐工作。 跟踪花在重复性手工工作上的时间,并设定上限。其余时间用来消除最大的繁琐工作来源。
  6. 针对症状告警,并保持告警可操作。 每条告警都应说明用户那里出了什么问题以及该做什么。移除或修复无人处理的告警。
  7. 公平而可持续地分担值班。 限制每班的告警次数,提供培训和有文档的升级路径,并定期评审负荷。见主题 8.3 — 组织变革与采纳。
  8. 无责地评审事件,并跟进落实。 写下时间线、促成因素,以及带负责人和日期的行动项。检查行动项是否完成。
  9. 在安全的条件下练习失败。 在预发布环境或有限暴露的情况下进行演练日和小型混沌实验,并配有清晰的停止按钮。
  10. 从小处着手。 选一项重要的服务,定义一两个 SLI 和一个 SLO,在扩展之前先从结果中学习。

与团队讨论的问题

我们的用户会说“正常工作”对这项服务意味着什么?我们度量它了吗? 这是指标的起点。团队常常度量的是服务器的健康状况。问问上一次用户不满而我们的仪表板却一片绿色是什么时候。追问:选择一个面向用户的指标来度量。

这项服务究竟需要多可靠?是谁决定的? 目标常常凭习惯设定,比如“五个九”。问问服务宕机时用户会怎么做,以及一小时停机的代价。预期会有分歧。追问:起草一个目标,并与一位客户核对。

用完错误预算后我们会怎么做?我们真的会这样做吗? 从不被执行的政策会教会人们忽略它们。问问上一次可靠性受损而变更仍在继续时发生了什么。追问:商定一个小而具体的响应,以及由谁决定。

我们团队最大的三项繁琐工作来源是什么?要消除每一项需要什么? 请人们列出重复性任务并估算时间。预期会有手工重启、数据修复和访问请求。追问:选择一项,估算将其自动化的工作量,并与一年中节省的时间比较。

上个月我们的值班人员收到了多少次告警?其中有多少需要人工处理? 这个问题检验告警质量和工作负荷。请要求拿出数字;如果没人知道,这本身就是一个发现。追问:选择最嘈杂的告警去修复或删除。

AI 在哪里能帮助处理告警或事件总结?我们如何发现它的错误? AI 可以对告警分组、起草总结并建议运行手册步骤。它也可能掩盖真实的信号,或编造原因。问问谁负责它,以及如何检查它的输出。追问:让一个总结工具与人工流程并行试用并比较。

实践:一个服务管理示例

一家国家图书馆的数字档案团队为研究人员运行一项检索服务。六人团队轮流值班。夜间大约每周有一次告警,大多来自某台批处理服务器上的磁盘空间告警,需要有人手工清理。管理层要求在年度计划中写入“99.99% 的可用性”,尽管没人度量过当前的表现。

团队负责人提出了一个较小的实验。团队与两位研究人员一起,定义了一个指标:在两秒内返回结果的检索请求所占的比例。他们度量了一个月,得到 99.2%。研究人员说,只有当检索耗时超过五秒时他们才会察觉到慢,这种情况约占请求的 0.3%,主要发生在夜间重建索引期间。他们商定了一个目标:30 天内 99.5% 的检索在两秒内完成,以及一项错误预算政策:如果某个周期内用掉了超过 75% 的预算,团队就暂停非紧急发布,并修复最大的原因。

团队还统计了繁琐工作。手工清理磁盘每月约耗时两小时,还会把人吵醒。他们将清理自动化,增加了针对快速增长而不是磁盘已满的告警,并演练了一次从备份恢复索引的演练日。

变化在于:夜间告警减少,第一个季度中预算告急时暂停了一次发布,原因被追溯到一个缓慢的查询。仍然困难的是:年度计划仍写着“99.99%”,因为高层管理者没有同意替换它;索引重建依赖另一个部门运行的存储服务;团队也不确定其他时区的研究人员对服务的体验是否相同。负责人把计划的措辞带到了下一次评审。

四种视角

产品与交付团队

与运维共享目标和预算。把可靠性工作纳入待办事项列表(backlog),渐进式发布,并观察变更的影响。当预算用完时,加入减少原因的努力。

服务与运维团队

与用户一起定义指标,保持告警可操作,并把时间用于消除繁琐工作的工程。把值班负荷和事件数据带到规划中。撰写能引出可跟踪行动的评审。

领导层与治理

商定反映真实需要的目标,并在预算政策要求放慢变更时给予支持。为减少繁琐工作和可靠性工作提供时间经费。不要要求完美。

客户与用户

你应当被问到“正常工作”对你意味着什么,并被告知目标是什么。清楚地报告问题,并期待听到采取了什么措施。如果目标似乎不适合你的需要,请说出来。

敏捷、AI、自动化与分析

敏捷

SRE 为持续交付与改进增加了可度量的可靠性目标。让干系人参与设定目标,并定期评审。注意:错误预算不能取代判断;有些事件,比如数据泄露,无论预算如何都很重要。

AI

AI 可以对相关告警分组、提出可能的原因并起草事件总结。每种用法都需要负责人和对决策负责的人,以及将 AI 的建议与实际发生的情况进行比较的办法。注意:为减少噪音而抑制告警的 AI 可能会掩盖真实的故障;用已知事件对它进行测试。见主题 5.2 — AIOps。

自动化

自动化繁琐工作:重启、清理、常规访问和重复诊断,带有日志、限制和关闭它的办法。注意:作用于生产环境的自动化可能使事件更糟;增加速率限制和手动停止。见主题 6.6 — 运行手册自动化与自动修复。

分析

使用 SLI、SLO 达成率、错误预算消耗、繁琐工作时数和告警质量。注意:因为容易达成而选择的目标,或忽略用户体验某些方面的指标,会带来虚假的安慰;对照用户投诉来检查它们。见主题 7.4 — 可观测性与遥测和《服务管理度量》一书。

常见失败模式

  • 照抄别人的数字。 在不了解需求的情况下采用了“五个九”。依据用户需求和成本来决定。
  • 指标没有抓住用户。 仪表板一片绿,用户却在抱怨。度量用户所体验到的东西。
  • 没人遵循的预算政策。 预算用完后变更仍在继续。事先商定响应并加以执行。
  • 告警噪音。 值班人员无视告警。让每条告警都可操作。
  • 把繁琐工作视为常态。 团队从来没有时间去自动化。统计它并设定上限。
  • 把 SRE 当作运维的改名。 这些实践没有被采用。定义指标、目标和预算。
  • 英雄文化。 一个人解决每一起事件。分享知识和运行手册。

成熟度模型

维度 起步 发展 标准化 管理 协同
指标与目标 没有面向用户的度量 只有基础设施度量 关键服务有以用户为中心的 SLI 和 SLO 与用户和成本一起评审目标 目标在相互依赖的服务之间协调
错误预算 无 讨论过 书面政策并执行 评审政策结果 预算在团队和合作伙伴之间共享
繁琐工作 未度量 非正式识别 统计并设限 通过受跟踪的自动化来减少 通过共享工具在各服务间减少
事件学习 责备 一些评审 带跟踪行动的无责评审 度量行动完成情况及复发 学习在整个组织中共享

检查清单

  • 每项重要服务至少有一个面向用户的指标。
  • 每个指标都有与依赖它的人商定的目标。
  • 我们写下了错误预算快用完时会发生什么。
  • 我们的内部目标比我们的协议更严格。
  • 我们跟踪繁琐工作并设有上限。
  • 告警可操作,嘈杂的告警被修复或移除。
  • 值班负荷被度量且可持续。
  • 事件评审是无责的,行动项被跟踪到完成。

AI 提示词

起草候选指标。

我们的服务:[描述它做什么、谁使用它]。用户的抱怨:[列表]。
请提出最多五个候选的服务级别指标,每个说明它度量什么、如何从 [可用的数据源] 计算,以及一种它可能产生误导的方式。不要选择目标。
请列出你不确定的事项。

计算错误预算消耗。

我们的目标:[例如,30 天内 99.5% 的请求在两秒内完成]。这是该周期内每天的良好事件数和总事件数:[粘贴数据]。
请计算到目前为止的达成率、已用错误预算的百分比以及每日消耗速率,并展示每一步计算。不要预测超出数据的部分。
请列出你不确定的事项。

对繁琐工作候选项排序。

这是我们团队所做的重复性任务清单,包括频率和每次耗时:[粘贴清单]。
请计算每项每月的小时数,排序,并针对前五项各列出一个关于自动化是否安全的问题。不要推荐具体工具。
请列出你不确定的事项。

AI 技能

主要来源

  • Betsy Beyer、Chris Jones、Jennifer Petoff 和 Niall Richard Murphy(编),Site Reliability Engineering: How Google Runs Production Systems(2016),可在 sre.google 免费获取:这些实践的主要来源。
  • Betsy Beyer 等(编),The Site Reliability Workbook(2018):采纳的实用指导。
  • Wikipedia, "Site reliability engineering":中立的概述。
  • Wikipedia, "Service-level objective":术语的背景。

参考文献

  1. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  2. Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
  3. Service level indicator — Wikipedia — https://en.wikipedia.org/wiki/Service_level_indicator
  4. Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
  5. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  6. Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
  7. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  8. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  9. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/