可用性、容量与性能
可用性、容量与性能管理使服务可用、够大、够快,足以应对它所面临的需求;当目标来自用户的需要,风险通过冗余和测试被设计排除,并且预测会对照现实加以检验而不是被盲目信任时,它们就能奏效。
为什么这很重要
用户首先从三个方面评判一项服务:我能用吗?很多人使用时它撑得住吗?它快吗?其中任何一项的失败,都表现为工作丢失、购买被放弃和愤怒的来电。然而这三者很容易被忽视,直到遇到糟糕的一天:一次使流量翻倍的上线,一个把所有人在最后一小时都送入系统的截止日期,一个没人意识到一切都依赖于它的单一组件的故障。
这些实践的存在,是为了通过提前思考来避免这些糟糕的日子。它们问:服务能容忍多少故障,这要花费多少成本;它必须处理多少需求,这些需求将如何增长;它应该多快响应。它们用设计选择,比如冗余,用在用户之前找出极限的测试,以及经过检验和更新的预测来回答。
ITIL 4 描述了三项相关的实践:可用性管理、容量与性能管理,以及与之密切相关的服务连续性管理(主题 3.12 — 服务连续性管理)。工程团队则把它们当作可靠性工程、性能工程和容量规划来对待,使用 SLO 和错误预算(主题 2.6 — 站点可靠性工程)。本主题把这些理念结合起来,并说明如何在不过度镀金的情况下使用它们:更高的可用性并不总是更好,因为每多一个“9”成本都更高。它与服务级别管理(主题 3.7 — 服务级别管理)和监控(主题 3.10 — 监控与事态管理)相联系。
核心概念
可用性。 服务在需要时执行其约定功能的能力。维基百科把可用性描述为系统正常运行的时间比例。它通常以一段时间内的百分比表示,比如一个月内 99.9%,这允许约 43 分钟的停机。只有当你为用户定义了“正常运行”意味着什么,这个数字才有意义。
可靠性与可维护性。 可靠性是服务在不出故障的情况下运行多久;可维护性是它能多快恢复。可用性取决于两者。维基百科关于可靠性工程(reliability engineering)和平均故障间隔时间(MTBF)的文章描述了这些度量。在许多现代服务中,快速恢复比极少发生故障更容易实现。
冗余与单点故障。 冗余意味着拥有备用组件,使一次故障不会让服务停止。单点故障是指其故障会让一切停止的组件。维基百科关于冗余(redundancy)和单点故障(single point of failure)的文章描述了这些理念。找出单点故障,包括人员、供应商和会过期的证书,是可用性的核心任务。
容错与优雅降级。 容错系统在部分组件出故障时仍能继续工作;优雅降级的系统失去部分功能,但保住其核心。例如,购物网站可能禁用推荐功能,但仍然处理订单。在完全容错的成本太高的地方,为后者而设计。
故障切换。 当主组件出故障时切换到备用组件。它应当经过测试;未经测试的故障切换在需要时往往失败。见主题 3.12 — 服务连续性管理。
容量。 服务能够交付的最大吞吐量。容量管理确保以约定的成本,有足够的、但不比足够多出太多的容量,来满足当前和未来的需求。维基百科关于容量规划(capacity planning)的文章对此有描述。
需求。 施加在服务上的负载:用户、请求、数据量。需求随小时、日、季节和事件而变化,并受上线、活动和外部事件的影响。了解其规律比了解平均值更重要。
可扩展性与自动伸缩。 通过增加资源来处理更多负载的能力。云平台允许在负载上升时自动增加容量。这有所帮助,但并不能消除规划的需要:它有限制,要花钱,而且无法修复一个无法扩展的数据库。见主题 4.5 — 财务管理与 FinOps。
性能。 服务响应的快慢和效率。常见的度量有延迟(一个请求花多长时间)、吞吐量(处理了多少请求)和错误率。维基百科描述了工程中的延迟(latency)。用户会注意到缓慢的长尾,所以要看百分位数,如第 95 百分位,而不只是平均值。见主题 3.7 — 服务级别管理。
排队与饱和。 随着系统接近满负荷使用,等待时间急剧增长。维基百科描述的排队论(queueing theory)解释了为什么运行在 95% 容量的服务与运行在 60% 容量的服务给人的感觉大不相同。要留出余量。
性能工程与测试。 在整个开发过程中,而不只是最后,为性能而设计和测试。负载测试施加预期的需求;压力测试则超越它,以找出崩溃点。维基百科对两者均有描述。在类似生产的环境中,使用真实的数据进行测试。
预测。 根据历史、已知事件和增长来估计未来需求。维基百科描述了预测(forecasting)的方法。预测是不确定的:记录假设,展示区间,并把预测与实际发生的情况作比较。见主题 7.5 — 预测分析与预报。
成本取舍。 可用性或容量的每一次提高都要花钱。合适的水平取决于故障和缓慢对业务造成的代价。与付费的人一起把这种取舍变得明确,并写下来。
这些视角如何契合。 敏捷实践把可靠性工作作为待办事项(backlog)的一部分,并尽早、经常地测试。AI 可以检测异常并支持预测,需要人工审查。自动化负责伸缩资源和故障切换。分析为这三项实践提供数据。
最佳实践
- 根据用户需要设定可用性目标。 问服务宕机一小时、一天、一周会怎样。设定与之相称的目标和成本。从用户的角度写下“可用”的定义。
- 找出单点故障。 梳理重要服务的组件和依赖,问每一个出故障会怎样。包括证书、许可证、人员和供应商。
- 为故障而设计。 在成本合理的地方使用冗余,使组件独立失效,并决定可以关闭什么来保护核心。
- 测试故障切换与恢复。 在安全环境中演练故障切换,并记录所需时间。修复演练所揭示的问题。
- 了解你的需求规律。 收集按小时、日和季节划分的负载数据,并列出已知的即将发生的事件,如上线和截止日期。为峰值而不是平均值做规划。
- 留出余量。 不要让重要组件接近满负荷运行。设定能及时预警的告警阈值。
- 在用户之前测试性能。 在重大发布之前以及已知的峰值之前,针对真实的场景运行负载测试和压力测试。了解系统在哪里崩溃。
- 预测并检验。 连同假设一起做出预测,定期对照实际值加以评审,并调整。分享区间,而不是单一的数字。
- 关注长尾。 报告百分位数延迟和错误率,并调查最慢的请求。平均值会掩盖运气不佳的用户的体验。
- 公开地权衡成本与风险。 向负责人展示每一级可用性和容量的成本,并记录决定及决策者。
与团队讨论的问题
如果这项服务宕机一小时,我们的用户会失去什么?我们的目标与之匹配吗? 这个问题把目标与影响联系起来。预期不同的用户会给出不同的答案。请要求举真实的例子。追问:写下带有成本的目标,并与一位客户核对。
我们的单点故障有哪些,包括那些不是机器的? 为一项关键服务绘制依赖关系。预期会有意外:一份没人追踪的证书、单一的工程师、没有备份的供应商。追问:选择一个去减少。
我们上一次测试故障切换是什么时候?结果如何? 询问日期和结果。预期会听到“从来没有”或“在测试环境中是行的”。追问:规划一次演练,并设定恢复时间。
这项服务一年中最忙的一小时是什么时候?我们准备好了吗? 想一想截止日期、上线和促销。问问上一次发生了什么。追问:为下一个峰值规划一次负载测试。
我们最近三次容量预测的准确度如何? 这个问题检验学习。预期没人检查过。把预测与实际值作比较。追问:商定评审周期,并记录假设。
AI 如何帮助预测需求或及早发现问题?我们如何知道它错了? AI 可以在遥测数据中发现规律。它也可能拟合噪音。问问谁负责它,以及它将与什么作比较。追问:在一个季度内让 AI 预测与现有方法并行运行。
实践:一个服务管理示例
一家国家学生贷款机构运行着一个申请门户。一年中的大部分时间,它每天处理几千名用户。在年度申请截止日期前的最后两天,它处理的用户数是平时的一百多倍。两年前,它在最后一个晚上崩溃了;去年,它借助紧急扩容和一夜加班勉强撑了过去。
服务负责人在一月份,远在下一个截止日期之前就开始行动。她索取了过去三年按小时划分的流量数据,发现了一致的形态:最后一周缓慢上升,最后一天急剧上升,并在最后三小时达到峰值。她请团队找出单点故障。他们发现门户依赖由一家供应商运行的身份验证服务,该服务有固定的速率限制,会把吞吐量限制在预期峰值的大约一半。
团队做了三件事。它与供应商谈判争取更高的速率限制,并在最后一周获得了临时提升。它在三月和六月使用上一年的规律再加 30% 运行负载测试,发现数据库在约预期峰值的 70% 时成为瓶颈,于是通过增加只读副本并缓存几个开销大的查询来解决。它还准备了降级模式:在最后一天,如果负载超过阈值,就关闭储蓄计算器等非必要功能。
在截止日期当天,门户顶住了峰值。身份验证服务在最忙的那一小时变慢,但没有失败,降级模式被启用了一次,持续 40 分钟。变化在于:没有中断,也没有加班危机。仍然困难的是:供应商的限制是每年重置的合同事项;增加 30% 的预测是一项假设,而实际增加为 22%,所以团队可能多花了钱;而且没有人测试过整个区域故障,那仍会使服务停止。负责人把这些记入了明年的计划。
四种视角
产品与交付团队
为故障和负载而设计:使组件独立,边构建边测试性能,并了解你的极限。把降级模式和速率限制纳入设计。
服务与运维团队
了解需求规律和容量余量。演练故障切换,关注缓慢的长尾,并及早对趋势发出预警。保持依赖图的最新。
领导层与治理
在考虑成本和风险的前提下决定可用性和容量水平,并要求提供背后的证据。为测试和演练而不只是设备出资。留意已知的峰值。
客户与用户
告诉提供者你最忙的时段,以及故障会让你付出什么代价。问问计划的可用性水平是多少,以及未达到时会发生什么。
敏捷、AI、自动化与分析
敏捷
把可靠性和性能工作纳入待办事项列表,在流水线中尽早、经常地测试,并从每次事件和峰值中学习。注意:把可靠性推到“以后”,会积累债务,并在最糟糕的时刻暴露出来。
AI
AI 可以检测异常,根据历史和事件预测需求,并建议伸缩行动,有负责人,并由人对成本和风险作决定。注意:在正常日子训练的模型可能在前所未有的事件上失效;将它与简单的基线作比较,并让人负责。见主题 5.2 — AIOps。
自动化
在流水线中自动化伸缩、故障切换、健康检查和负载测试,带有限制和日志。注意:自动伸缩可能推高成本或掩盖有缺陷的发布;设定预算和告警,并测试伸缩规则。见主题 6.6 — 运行手册自动化与自动修复。
分析
收集需求、利用率、延迟百分位数、错误率和预测准确度。注意:利用率目标可以通过转移负载来钻空子,平均值会掩盖缓慢的长尾;要对照用户体验数据检查。见主题 7.5 — 预测分析与预报和《服务管理度量》一书。
常见失败模式
- 凭习惯设定目标。 没有理由就承诺“五个九”。依据用户需求和成本设定目标。
- 隐藏的单点故障。 一份证书或一个人就让一切停止。广泛地梳理依赖。
- 未经测试的故障切换。 需要时失败。定期演练。
- 按平均值规划。 峰值压垮系统。为已知峰值做规划并留出余量。
- 预测从不被检验。 错误重复出现。把预测与实际值作比较。
- 把自动伸缩当作万灵药。 成本和瓶颈依然存在。测试极限并设定预算。
- 只看平均值。 缓慢的长尾被忽视。报告百分位数。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 可用性 | 被动应对 | 关键服务有目标 | 有目标、冗余,并测试过故障切换 | 对照用户体验度量可用性 | 跨服务和供应商设计并管理可用性 |
| 容量 | 用完才增加 | 基本监控 | 已知需求规律并带假设地预测 | 评审预测准确度 | 在监督下自动规划并调整容量 |
| 性能 | 只有投诉 | 有一些度量 | 有百分位数目标,发布前做负载测试 | 跟踪性能趋势和退化 | 在整个生命周期中对性能进行工程化 |
| 成本意识 | 未知 | 大致知道 | 取舍有文档并有负责人 | 定期评审成本和风险 | 成本、风险和可靠性一起优化 |
检查清单
- 可用性目标基于用户需要和成本,并有清晰的定义。
- 重要服务的单点故障已被梳理并跟踪。
- 故障切换已经过演练并计时。
- 我们了解自己的需求规律和即将到来的峰值。
- 我们在重大发布和已知峰值之前运行负载测试。
- 预测记录了假设,并对照实际值检验。
- 我们报告百分位数延迟和错误率。
- 成本与风险的取舍有记录并有负责人。
AI 提示词
找出单点故障。
这是对 [服务] 如何工作以及依赖什么的描述:[粘贴]。
请列出每个组件和依赖,并针对每一个说明该描述暗示它出故障会发生什么,或写“未说明”。标出候选的单点故障和要问的问题。不要假设描述中没有的冗余。
请列出你不确定的事项。
总结需求规律。
这是 [时期] 的每小时请求数据:[粘贴摘要或数据]。
请描述你能看到的每日、每周和季节性规律,给出峰值与平均值之比,并列出看起来异常的日期。不要做预测。
请列出你不确定的事项。
起草负载测试计划。
我们的服务:[描述]。预期峰值:[数字和规律]。已知的限制或担忧:[列表]。
请起草一份测试计划,包含场景、负载水平、要度量什么、什么情况会使我们停止,以及测试的风险。明确规定只在安全环境中运行。
请列出你不确定的事项。
AI 技能
- capacity-planning:用于预测需求和规划资源。
- load-testing:用于设计和运行负载测试。
- performance-testing:用于检查速度和响应能力。
- demand-forecasting:用于带着明确的不确定性估计未来需求。
- chaos-testing:用于测试故障如何扩散。
主要来源
- Betsy Beyer 等(编),Site Reliability Engineering(2016):关于处理过载和负载均衡的章节,可在 sre.google 免费获取。
- PeopleCert, ITIL certification pages:所有者对可用性与容量实践的描述。
- Wikipedia, "High availability" 和 "Capacity planning":对主要理念的概述。
- Wikipedia, "Queueing theory":等待与饱和背后的数学。
参考文献
- Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
- High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
- Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
- Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
- Mean time between failures — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_between_failures
- Single point of failure — Wikipedia — https://en.wikipedia.org/wiki/Single_point_of_failure
- Redundancy (engineering) — Wikipedia — https://en.wikipedia.org/wiki/Redundancy_(engineering)
- Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
- Queueing theory — Wikipedia — https://en.wikipedia.org/wiki/Queueing_theory
- Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/