为什么这很重要

用户首先从三个方面评判一项服务:我能用吗?很多人使用时它撑得住吗?它快吗?其中任何一项的失败,都表现为工作丢失、购买被放弃和愤怒的来电。然而这三者很容易被忽视,直到遇到糟糕的一天:一次使流量翻倍的上线,一个把所有人在最后一小时都送入系统的截止日期,一个没人意识到一切都依赖于它的单一组件的故障。

这些实践的存在,是为了通过提前思考来避免这些糟糕的日子。它们问:服务能容忍多少故障,这要花费多少成本;它必须处理多少需求,这些需求将如何增长;它应该多快响应。它们用设计选择,比如冗余,用在用户之前找出极限的测试,以及经过检验和更新的预测来回答。

ITIL 4 描述了三项相关的实践:可用性管理、容量与性能管理,以及与之密切相关的服务连续性管理(主题 3.12 — 服务连续性管理)。工程团队则把它们当作可靠性工程、性能工程和容量规划来对待,使用 SLO 和错误预算(主题 2.6 — 站点可靠性工程)。本主题把这些理念结合起来,并说明如何在不过度镀金的情况下使用它们:更高的可用性并不总是更好,因为每多一个“9”成本都更高。它与服务级别管理(主题 3.7 — 服务级别管理)和监控(主题 3.10 — 监控与事态管理)相联系。

核心概念

可用性。 服务在需要时执行其约定功能的能力。维基百科把可用性描述为系统正常运行的时间比例。它通常以一段时间内的百分比表示,比如一个月内 99.9%,这允许约 43 分钟的停机。只有当你为用户定义了“正常运行”意味着什么,这个数字才有意义。

可靠性与可维护性。 可靠性是服务在不出故障的情况下运行多久;可维护性是它能多快恢复。可用性取决于两者。维基百科关于可靠性工程(reliability engineering)和平均故障间隔时间(MTBF)的文章描述了这些度量。在许多现代服务中,快速恢复比极少发生故障更容易实现。

冗余与单点故障。 冗余意味着拥有备用组件,使一次故障不会让服务停止。单点故障是指其故障会让一切停止的组件。维基百科关于冗余(redundancy)和单点故障(single point of failure)的文章描述了这些理念。找出单点故障,包括人员、供应商和会过期的证书,是可用性的核心任务。

容错与优雅降级。 容错系统在部分组件出故障时仍能继续工作;优雅降级的系统失去部分功能,但保住其核心。例如,购物网站可能禁用推荐功能,但仍然处理订单。在完全容错的成本太高的地方,为后者而设计。

故障切换。 当主组件出故障时切换到备用组件。它应当经过测试;未经测试的故障切换在需要时往往失败。见主题 3.12 — 服务连续性管理。

容量。 服务能够交付的最大吞吐量。容量管理确保以约定的成本,有足够的、但不比足够多出太多的容量,来满足当前和未来的需求。维基百科关于容量规划(capacity planning)的文章对此有描述。

需求。 施加在服务上的负载:用户、请求、数据量。需求随小时、日、季节和事件而变化,并受上线、活动和外部事件的影响。了解其规律比了解平均值更重要。

可扩展性与自动伸缩。 通过增加资源来处理更多负载的能力。云平台允许在负载上升时自动增加容量。这有所帮助,但并不能消除规划的需要:它有限制,要花钱,而且无法修复一个无法扩展的数据库。见主题 4.5 — 财务管理与 FinOps。

性能。 服务响应的快慢和效率。常见的度量有延迟(一个请求花多长时间)、吞吐量(处理了多少请求)和错误率。维基百科描述了工程中的延迟(latency)。用户会注意到缓慢的长尾,所以要看百分位数,如第 95 百分位,而不只是平均值。见主题 3.7 — 服务级别管理。

排队与饱和。 随着系统接近满负荷使用,等待时间急剧增长。维基百科描述的排队论(queueing theory)解释了为什么运行在 95% 容量的服务与运行在 60% 容量的服务给人的感觉大不相同。要留出余量。

性能工程与测试。 在整个开发过程中,而不只是最后,为性能而设计和测试。负载测试施加预期的需求;压力测试则超越它,以找出崩溃点。维基百科对两者均有描述。在类似生产的环境中,使用真实的数据进行测试。

预测。 根据历史、已知事件和增长来估计未来需求。维基百科描述了预测(forecasting)的方法。预测是不确定的:记录假设,展示区间,并把预测与实际发生的情况作比较。见主题 7.5 — 预测分析与预报。

成本取舍。 可用性或容量的每一次提高都要花钱。合适的水平取决于故障和缓慢对业务造成的代价。与付费的人一起把这种取舍变得明确,并写下来。

这些视角如何契合。 敏捷实践把可靠性工作作为待办事项(backlog)的一部分,并尽早、经常地测试。AI 可以检测异常并支持预测,需要人工审查。自动化负责伸缩资源和故障切换。分析为这三项实践提供数据。

最佳实践

  1. 根据用户需要设定可用性目标。 问服务宕机一小时、一天、一周会怎样。设定与之相称的目标和成本。从用户的角度写下“可用”的定义。
  2. 找出单点故障。 梳理重要服务的组件和依赖,问每一个出故障会怎样。包括证书、许可证、人员和供应商。
  3. 为故障而设计。 在成本合理的地方使用冗余,使组件独立失效,并决定可以关闭什么来保护核心。
  4. 测试故障切换与恢复。 在安全环境中演练故障切换,并记录所需时间。修复演练所揭示的问题。
  5. 了解你的需求规律。 收集按小时、日和季节划分的负载数据,并列出已知的即将发生的事件,如上线和截止日期。为峰值而不是平均值做规划。
  6. 留出余量。 不要让重要组件接近满负荷运行。设定能及时预警的告警阈值。
  7. 在用户之前测试性能。 在重大发布之前以及已知的峰值之前,针对真实的场景运行负载测试和压力测试。了解系统在哪里崩溃。
  8. 预测并检验。 连同假设一起做出预测,定期对照实际值加以评审,并调整。分享区间,而不是单一的数字。
  9. 关注长尾。 报告百分位数延迟和错误率,并调查最慢的请求。平均值会掩盖运气不佳的用户的体验。
  10. 公开地权衡成本与风险。 向负责人展示每一级可用性和容量的成本,并记录决定及决策者。

与团队讨论的问题

如果这项服务宕机一小时,我们的用户会失去什么?我们的目标与之匹配吗? 这个问题把目标与影响联系起来。预期不同的用户会给出不同的答案。请要求举真实的例子。追问:写下带有成本的目标,并与一位客户核对。

我们的单点故障有哪些,包括那些不是机器的? 为一项关键服务绘制依赖关系。预期会有意外:一份没人追踪的证书、单一的工程师、没有备份的供应商。追问:选择一个去减少。

我们上一次测试故障切换是什么时候?结果如何? 询问日期和结果。预期会听到“从来没有”或“在测试环境中是行的”。追问:规划一次演练,并设定恢复时间。

这项服务一年中最忙的一小时是什么时候?我们准备好了吗? 想一想截止日期、上线和促销。问问上一次发生了什么。追问:为下一个峰值规划一次负载测试。

我们最近三次容量预测的准确度如何? 这个问题检验学习。预期没人检查过。把预测与实际值作比较。追问:商定评审周期,并记录假设。

AI 如何帮助预测需求或及早发现问题?我们如何知道它错了? AI 可以在遥测数据中发现规律。它也可能拟合噪音。问问谁负责它,以及它将与什么作比较。追问:在一个季度内让 AI 预测与现有方法并行运行。

实践:一个服务管理示例

一家国家学生贷款机构运行着一个申请门户。一年中的大部分时间,它每天处理几千名用户。在年度申请截止日期前的最后两天,它处理的用户数是平时的一百多倍。两年前,它在最后一个晚上崩溃了;去年,它借助紧急扩容和一夜加班勉强撑了过去。

服务负责人在一月份,远在下一个截止日期之前就开始行动。她索取了过去三年按小时划分的流量数据,发现了一致的形态:最后一周缓慢上升,最后一天急剧上升,并在最后三小时达到峰值。她请团队找出单点故障。他们发现门户依赖由一家供应商运行的身份验证服务,该服务有固定的速率限制,会把吞吐量限制在预期峰值的大约一半。

团队做了三件事。它与供应商谈判争取更高的速率限制,并在最后一周获得了临时提升。它在三月和六月使用上一年的规律再加 30% 运行负载测试,发现数据库在约预期峰值的 70% 时成为瓶颈,于是通过增加只读副本并缓存几个开销大的查询来解决。它还准备了降级模式:在最后一天,如果负载超过阈值,就关闭储蓄计算器等非必要功能。

在截止日期当天,门户顶住了峰值。身份验证服务在最忙的那一小时变慢,但没有失败,降级模式被启用了一次,持续 40 分钟。变化在于:没有中断,也没有加班危机。仍然困难的是:供应商的限制是每年重置的合同事项;增加 30% 的预测是一项假设,而实际增加为 22%,所以团队可能多花了钱;而且没有人测试过整个区域故障,那仍会使服务停止。负责人把这些记入了明年的计划。

四种视角

产品与交付团队

为故障和负载而设计:使组件独立,边构建边测试性能,并了解你的极限。把降级模式和速率限制纳入设计。

服务与运维团队

了解需求规律和容量余量。演练故障切换,关注缓慢的长尾,并及早对趋势发出预警。保持依赖图的最新。

领导层与治理

在考虑成本和风险的前提下决定可用性和容量水平,并要求提供背后的证据。为测试和演练而不只是设备出资。留意已知的峰值。

客户与用户

告诉提供者你最忙的时段,以及故障会让你付出什么代价。问问计划的可用性水平是多少,以及未达到时会发生什么。

敏捷、AI、自动化与分析

敏捷

把可靠性和性能工作纳入待办事项列表,在流水线中尽早、经常地测试,并从每次事件和峰值中学习。注意:把可靠性推到“以后”,会积累债务,并在最糟糕的时刻暴露出来。

AI

AI 可以检测异常,根据历史和事件预测需求,并建议伸缩行动,有负责人,并由人对成本和风险作决定。注意:在正常日子训练的模型可能在前所未有的事件上失效;将它与简单的基线作比较,并让人负责。见主题 5.2 — AIOps。

自动化

在流水线中自动化伸缩、故障切换、健康检查和负载测试,带有限制和日志。注意:自动伸缩可能推高成本或掩盖有缺陷的发布;设定预算和告警,并测试伸缩规则。见主题 6.6 — 运行手册自动化与自动修复。

分析

收集需求、利用率、延迟百分位数、错误率和预测准确度。注意:利用率目标可以通过转移负载来钻空子,平均值会掩盖缓慢的长尾;要对照用户体验数据检查。见主题 7.5 — 预测分析与预报和《服务管理度量》一书。

常见失败模式

  • 凭习惯设定目标。 没有理由就承诺“五个九”。依据用户需求和成本设定目标。
  • 隐藏的单点故障。 一份证书或一个人就让一切停止。广泛地梳理依赖。
  • 未经测试的故障切换。 需要时失败。定期演练。
  • 按平均值规划。 峰值压垮系统。为已知峰值做规划并留出余量。
  • 预测从不被检验。 错误重复出现。把预测与实际值作比较。
  • 把自动伸缩当作万灵药。 成本和瓶颈依然存在。测试极限并设定预算。
  • 只看平均值。 缓慢的长尾被忽视。报告百分位数。

成熟度模型

维度 起步 发展 标准化 管理 协同
可用性 被动应对 关键服务有目标 有目标、冗余,并测试过故障切换 对照用户体验度量可用性 跨服务和供应商设计并管理可用性
容量 用完才增加 基本监控 已知需求规律并带假设地预测 评审预测准确度 在监督下自动规划并调整容量
性能 只有投诉 有一些度量 有百分位数目标,发布前做负载测试 跟踪性能趋势和退化 在整个生命周期中对性能进行工程化
成本意识 未知 大致知道 取舍有文档并有负责人 定期评审成本和风险 成本、风险和可靠性一起优化

检查清单

  • 可用性目标基于用户需要和成本,并有清晰的定义。
  • 重要服务的单点故障已被梳理并跟踪。
  • 故障切换已经过演练并计时。
  • 我们了解自己的需求规律和即将到来的峰值。
  • 我们在重大发布和已知峰值之前运行负载测试。
  • 预测记录了假设,并对照实际值检验。
  • 我们报告百分位数延迟和错误率。
  • 成本与风险的取舍有记录并有负责人。

AI 提示词

找出单点故障。

这是对 [服务] 如何工作以及依赖什么的描述:[粘贴]。
请列出每个组件和依赖,并针对每一个说明该描述暗示它出故障会发生什么,或写“未说明”。标出候选的单点故障和要问的问题。不要假设描述中没有的冗余。
请列出你不确定的事项。

总结需求规律。

这是 [时期] 的每小时请求数据:[粘贴摘要或数据]。
请描述你能看到的每日、每周和季节性规律,给出峰值与平均值之比,并列出看起来异常的日期。不要做预测。
请列出你不确定的事项。

起草负载测试计划。

我们的服务:[描述]。预期峰值:[数字和规律]。已知的限制或担忧:[列表]。
请起草一份测试计划,包含场景、负载水平、要度量什么、什么情况会使我们停止,以及测试的风险。明确规定只在安全环境中运行。
请列出你不确定的事项。

AI 技能

主要来源

  • Betsy Beyer 等(编),Site Reliability Engineering(2016):关于处理过载和负载均衡的章节,可在 sre.google 免费获取。
  • PeopleCert, ITIL certification pages:所有者对可用性与容量实践的描述。
  • Wikipedia, "High availability" 和 "Capacity planning":对主要理念的概述。
  • Wikipedia, "Queueing theory":等待与饱和背后的数学。

参考文献

  1. Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
  2. High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
  3. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  4. Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
  5. Mean time between failures — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_between_failures
  6. Single point of failure — Wikipedia — https://en.wikipedia.org/wiki/Single_point_of_failure
  7. Redundancy (engineering) — Wikipedia — https://en.wikipedia.org/wiki/Redundancy_(engineering)
  8. Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
  9. Queueing theory — Wikipedia — https://en.wikipedia.org/wiki/Queueing_theory
  10. Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
  11. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/