监控与事态管理
监控与事态管理观察服务,使合适的人能及早得知真正的问题,而没有人被噪音吵醒;当告警描述的是用户的感受,每条告警都有对应的行动,并且事态数量被控制在让人们信任的水平时,它们就能奏效。
为什么这很重要
麻烦的第一个迹象应当来自你自己的系统,而不是来自用户。这是监控的承诺:持续观察服务的健康状况,在大多数用户察觉之前就注意到偏差。在实践中,许多团队发现用户仍然是最先报告问题的,而团队则淹没在没人理会的告警之中。
这两种体验之间的差别在于设计。一套每越过一个阈值就发出告警的监控配置,会教会它的接收者忽略告警。维基百科把这描述为告警疲劳(alarm fatigue),这一现象最早是在医院中研究的,暴露于过多警报的员工会变得麻木,从而错过重要的警报。而一套度量用户体验、只在需要行动时才告警、并向响应人员提供上下文的配置,则把监控变成了预警系统。
监控的作用也不止于发现故障。它为容量规划、性能工作、检查发布是否健康以及决定改进什么提供数据。本主题描述区分有用监控与噪音的词汇和实践。它与事件管理(主题 3.2 — 事件管理)、可用性和容量(主题 3.11 — 可用性、容量与性能)以及可观测性(主题 7.4 — 可观测性与遥测)紧密相连。
核心概念
监控。 收集、处理和使用关于服务及其组件状态的数据。维基百科把系统监控(system monitoring)和网络监控(network monitoring)描述为观察系统故障和性能的实践。监控回答已知的问题:它在线吗?它快吗?它满了吗?
事态(event)。 在 ITIL 4 中,指对服务或其他配置项的管理有意义的任何状态变化。事态可以是信息性的、警告或异常。许多事态是正常的,无需行动;这项实践在于决定哪些需要行动。
告警。 通知某个事态需要关注。并非每个事态都应成为告警。好的告警告诉某个人现在需要采取行动、哪里出了问题,以及去哪里查看。
告警疲劳。 当告警过多或有太多是误报时,对告警的敏感度下降。见维基百科关于告警疲劳的文章。迹象包括不看就确认告警、把频道静音,以及很晚才发现事件。这是设计问题,不是纪律问题。
指标、日志和追踪。 三种常见的遥测。指标是随时间变化的数值度量,如请求速率或内存使用。日志是带时间戳的事态记录。追踪跟随一个请求穿过分布式系统的各个部分。维基百科关于遥测(telemetry)和日志管理(log management)的文章描述了一般的理念。三者合在一起,既支持监控,也支持可观测性下所涵盖的更深入的调查。
可观测性。 从系统的输出来理解其内部状态的能力。维基百科把软件中的可观测性(observability)描述为把监控扩展到你没有预料到的问题。二者有重叠:监控观察已知的故障;可观测性帮助你调查未知的故障。见主题 7.4 — 可观测性与遥测。
症状与原因。 症状是用户或服务所经历的,比如响应缓慢;原因是其背后的东西,比如磁盘已满。针对症状告警会告诉你用户受到了影响。针对每个可能的原因告警会产生噪音。许多团队针对症状告警,并用原因层面的指标来调查。
阈值与基线。 固定阈值,例如“CPU 超过 90%”,简单却常常出错,因为正常水平随时间和负载而变化。基线学习某个时段的正常水平,并在偏离时发出告警。维基百科关于异常检测(anomaly detection)的文章描述了这一理念及其注意事项。
事态关联。 把相关的事态合并起来以找出根本的问题,使来自一个故障组件的一百条告警变成一条。维基百科描述了事态关联(event correlation)。它可以基于规则,也可以使用机器学习。见主题 5.2 — AIOps。
合成监控与真实用户监控。 合成监控运行模拟用户的脚本化测试,定期检查某条旅程是否可用。真实用户监控记录实际用户的体验。维基百科对两者均有描述。合成检查能在安静时段发现中断;真实用户数据则显示人们实际体验到什么。
应用性能管理。 监控应用性能和可用性的工具与实践,包括响应时间和错误率。维基百科描述了这一领域。
可操作性。 每条告警都应有一项明确的行动,即使这项行动是“查看运行手册”。如果有人说不出该怎么办,这条告警应当被移除,或变成一份报告。见主题 3.9 — 知识管理。
路由与升级。 告警通过值班日程送给能采取行动的人,若无人确认则升级。见主题 3.2 — 事件管理。
事态管理与 ITIL。 ITIL 4 把“监控与事态管理”描述为一项系统地观察服务和服务组件、并记录和报告所选状态变化的实践。重点在于决定哪些事态重要,以及对每一类事态该怎么办。
这些视角如何契合。 监控是持续交付的反馈一侧:它显示一项变更是否健康。敏捷实践把告警质量当作待办事项(backlog)条目。AI 可以在审查下降低噪音、关联事态并总结。自动化可以对被充分理解的事态采取行动。分析显示趋势和噪音的代价。
最佳实践
- 针对用户的感受告警。 从症状开始,比如失败的请求、缓慢的页面和失败的作业。除非某个原因是可靠的早期预警,否则把原因指标用于诊断,而不是呼叫。
- 让每条告警都可操作。 为每条告警写明它意味着什么、谁来行动,以及首先做什么。把它链接到运行手册。移除没有对应行动的告警。
- 保持数量低。 统计每位值班人员每班收到的告警数,并设定上限。每周评审最嘈杂的告警,并修复或删除它们。
- 紧急的呼叫,其余的开工单。 只有在有人必须立即采取行动时才打电话或呼叫。把其他信号发送到队列或报告中。清楚地定义两者的区别。
- 谨慎使用基线。 在正常水平随时间和负载变化的地方,使用感知时间的阈值或异常检测,并加以评审。不要信任你无法向响应人员解释的模型。
- 把相关告警分组。 把同一原因的事态关联起来,并在某项依赖出故障时抑制下游告警。发送一条带有上下文的消息。
- 从用户的角度检查。 为关键旅程添加合成检查,并用真实用户数据了解体验。服务器可以“在线”,而用户却无法登录。
- 监控监控本身。 测试告警是否送达了人,呼叫系统是否工作,以及监控本身的无声失败是否能被发现。偶尔运行端到端测试。
- 事件之后评审。 问哪条告警触发了,哪条本该触发,哪些是噪音。在事件评审中调整。见主题 3.3 — 问题管理。
- 共享仪表板和上下文。 让开发、运维和支持人员能使用相同的数据,并显示近期变更的影响。避免没人使用的仪表板。
与团队讨论的问题
上一次是用户先于我们的监控告诉我们的事件是什么?为什么? 这个问题找出盲点。看看用户看到了什么。预期在旅程的边缘会有缺口。追问:选择一项要添加的面向用户的检查。
上个月我们的值班人员收到了多少告警?其中多少需要行动? 一起数一数。如果没人知道,这本身就是一个发现。预期可操作告警的比例很低。追问:选出最嘈杂的五条告警,决定各自的命运。
我们忽略了哪些告警?如果把它们删除会怎样? 忽略告警是疲劳的迹象。问问每一条上一次真正起作用是什么时候。追问:删除或降级一条,并设定评审日期。
谁会因为什么被叫醒?大家是否都同意值得叫醒他们? 商定呼叫的标准。预期会有分歧,这是有用的。追问:写一段话的规则,试行一个月。
如果我们的监控本身停止工作,我们怎么知道? 这个问题检验元监控。预期会沉默或含糊其辞。追问:添加心跳检查或每日测试告警,并商定谁来盯着。
我们希望 AI 对我们的告警做什么?哪些必须保持由人决定? AI 可以对告警分组、建议原因并总结上下文。它也可能抑制一条真正的告警。问问哪些行动需要批准。追问:选择仅限于分组和总结的试用,并评审它隐藏了什么。
实践:一个服务管理示例
一家区域机场的运营技术团队监控行李处理、值机系统和航班信息显示屏。六人团队每天收到约 400 条告警。值班人员说他们只是扫一眼通知,大多把它们静音了。上个月,航站楼里一台故障的网络交换机 40 分钟没人察觉,直到乘客抱怨显示屏一片空白。
团队负责人花了一周时间查看数据。每天 400 条告警中,约有 350 条来自 12 条规则,比如会自行清理的设备的磁盘警告,以及一个未使用端口的接口抖动。每天只有约 15 条需要人工采取行动。负责人和团队商定了三项改变。他们删除这 12 条嘈杂的规则,或将其降级为每日报告。他们增加了两项合成检查,每分钟从每个航站楼加载一次显示页面和值机界面,如果连续两次失败就发出呼叫。并设置了关联,使一台故障的交换机只产生一条指明受影响显示屏的告警,而不是一百条。
接下来的一个月,值班告警下降到每天约 20 条,下一次交换机故障在三分钟内被发现,一次呼叫就列出了受影响的航站楼。在每周评审中,团队发现有一条告警本不该被关联抑制却被抑制了,于是纠正了规则。
变化在于:人们信任呼叫并作出响应。仍然困难的是:行李处理供应商的设备以团队无法过滤的格式发送自己的告警,所以仍有一些噪音;少数夜班员工担心每日报告没人读;还没有人测试过监控系统本身出故障时会发生什么。负责人安排了一次演练,并增加了每日测试告警。
四种视角
产品与交付团队
内建信号:有意义的指标、日志和追踪,以及反映用户旅程的健康检查。在写告警的同时写运行手册。观察每次发布的影响。
服务与运维团队
拥有告警质量。每周评审最嘈杂的告警,保护人们免于过载,并检查每次呼叫都有对应行动。测试告警所经过的路径。
领导层与治理
要求提供可操作告警的数量,而不是监视器的数量。为修复嘈杂告警留出时间经费。把反复在非工作时间的呼叫视为对员工和质量的代价。
客户与用户
你应当在自己察觉之前,就从提供者那里听说问题,并被告知什么受到影响。报告你看到的情况,附上时间,并告诉提供者监控遗漏了哪里。
敏捷、AI、自动化与分析
敏捷
把告警和仪表板视为产品的一部分:在每次事件和发布之后小步改进。与响应人员一起评审。注意:为每个新功能增加监视器却不移除旧的,会增加噪音。
AI
AI 可以学习正常模式、对相关告警分组、建议可能的原因,并总结告警风暴,需要有负责人,由人作出决定。用过往事件测试它。注意:抑制告警的模型可能隐藏罕见但真实的故障;度量它抑制了什么以及遗漏了什么。见主题 5.2 — AIOps。
自动化
自动化对被充分理解的事态的响应,比如重启出故障的进程,以及告警的路由和丰富,带有限制和日志。注意:无限重试的自动修复可能掩盖出故障的系统或使之更糟;要增加速率限制和升级。见主题 6.6 — 运行手册自动化与自动修复。
分析
跟踪告警数量、可操作的比例、确认时间,以及由监控发现与由用户发现的事件。注意:单看告警数量,可以通过不断提高阈值直到什么都不触发来钻空子;要对照事件检查。见主题 7.4 — 可观测性与遥测和《服务管理度量》一书。
常见失败模式
- 什么都告警。 人们把频道静音。针对症状告警,移除其余的。
- 没有行动的告警。 响应人员不知道该做什么。链接运行手册,或删除告警。
- 只用固定阈值。 繁忙时段误报。谨慎使用感知时间的方法或基线方法。
- 用户先发现。 面向用户的检查有缺口。增加合成和真实用户监控。
- 没有元监控。 监控无声地失败。增加心跳和演练。
- 仪表板泛滥。 没人看。保留少数支持决策的。
- 信任不透明的模型。 响应人员无法解释它做了什么。保持规则和逻辑可评审。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 告警设计 | 每个阈值都告警 | 一些关键告警 | 基于症状、可操作、带运行手册的告警 | 度量告警质量并每周评审 | 告警跨服务调整并关联 |
| 覆盖 | 仅服务器 | 一些应用 | 通过合成检查和真实用户数据检查用户旅程 | 事件之后评审覆盖 | 覆盖在整个资产和供应商之间保持一致 |
| 噪音 | 压倒性的 | 有意识 | 数量受限并经评审 | 度量噪音并使其下降 | 通过关联和自动化并在监督下管理噪音 |
| 响应 | 手工 | 呼叫一个团队 | 带升级的路由 | 跟踪响应时间 | 安全的行动自动化并由人控制 |
检查清单
- 告警基于用户能感受到的症状。
- 每条告警都有明确的行动和链接的运行手册。
- 每班值班告警的数量被度量并受到限制。
- 我们每周评审最嘈杂的告警。
- 关键用户旅程有合成检查。
- 相关告警被关联。
- 我们测试告警是否送达了人,以及监控故障能否被发现。
- 对告警采取行动的 AI 或自动化有负责人、限制和评审。
AI 提示词
对嘈杂的告警排序。
这是一份告警规则清单,包含每条上个月触发的次数以及其中有多少导致了行动:[粘贴]。
请按不可操作触发的次数排序,列出前十条,并为每条规则给出一个问题,用来询问应当移除、改变还是保留。不要建议删除任何一条。
请列出你不确定的事项。
起草告警的文字。
要针对的情形:[描述]。谁来行动:[角色]。他们首先应做的检查:[列表]。
请起草一个告警标题(不超过 80 个字符)和正文(不超过 80 字),说明哪里出了问题、用户可能经历了什么,以及第一步,并为运行手册留一个链接占位符。不要猜测原因。
请列出你不确定的事项。
测试关联规则。
这是一条关联规则:[描述]。这是近期事态的清单,带有时间戳和来源:[粘贴]。
请列出该规则会把哪些事态分组、会抑制哪些,以及任何一个真正独立的问题可能被隐藏的情形。不要提出新规则。
请列出你不确定的事项。
AI 技能
- runbook:用于编写与每条告警配套的行动。
- anomaly-analysis:用于检查指标中的异常模式。
- key-risk-indicators:用于选择预警指标。
- on-call-rotation:用于设计可持续的值班安排。
主要来源
- Betsy Beyer 等(编),Site Reliability Engineering(2016),关于监控分布式系统的章节,可在 sre.google 免费获取。
- Rob Ewaschuk,"My Philosophy on Alerting"(2013):一篇关于基于症状告警的著名短文。
- Wikipedia, "Alarm fatigue" 和 "Observability (software)":对关键理念的概述。
- PeopleCert, ITIL certification pages:所有者对监控与事态管理实践的描述。
参考文献
- Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Application performance management — Wikipedia — https://en.wikipedia.org/wiki/Application_performance_management
- Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
- Log management — Wikipedia — https://en.wikipedia.org/wiki/Log_management
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
- Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/