为什么这很重要

麻烦的第一个迹象应当来自你自己的系统,而不是来自用户。这是监控的承诺:持续观察服务的健康状况,在大多数用户察觉之前就注意到偏差。在实践中,许多团队发现用户仍然是最先报告问题的,而团队则淹没在没人理会的告警之中。

这两种体验之间的差别在于设计。一套每越过一个阈值就发出告警的监控配置,会教会它的接收者忽略告警。维基百科把这描述为告警疲劳(alarm fatigue),这一现象最早是在医院中研究的,暴露于过多警报的员工会变得麻木,从而错过重要的警报。而一套度量用户体验、只在需要行动时才告警、并向响应人员提供上下文的配置,则把监控变成了预警系统。

监控的作用也不止于发现故障。它为容量规划、性能工作、检查发布是否健康以及决定改进什么提供数据。本主题描述区分有用监控与噪音的词汇和实践。它与事件管理(主题 3.2 — 事件管理)、可用性和容量(主题 3.11 — 可用性、容量与性能)以及可观测性(主题 7.4 — 可观测性与遥测)紧密相连。

核心概念

监控。 收集、处理和使用关于服务及其组件状态的数据。维基百科把系统监控(system monitoring)和网络监控(network monitoring)描述为观察系统故障和性能的实践。监控回答已知的问题:它在线吗?它快吗?它满了吗?

事态(event)。 在 ITIL 4 中,指对服务或其他配置项的管理有意义的任何状态变化。事态可以是信息性的、警告或异常。许多事态是正常的,无需行动;这项实践在于决定哪些需要行动。

告警。 通知某个事态需要关注。并非每个事态都应成为告警。好的告警告诉某个人现在需要采取行动、哪里出了问题,以及去哪里查看。

告警疲劳。 当告警过多或有太多是误报时,对告警的敏感度下降。见维基百科关于告警疲劳的文章。迹象包括不看就确认告警、把频道静音,以及很晚才发现事件。这是设计问题,不是纪律问题。

指标、日志和追踪。 三种常见的遥测。指标是随时间变化的数值度量,如请求速率或内存使用。日志是带时间戳的事态记录。追踪跟随一个请求穿过分布式系统的各个部分。维基百科关于遥测(telemetry)和日志管理(log management)的文章描述了一般的理念。三者合在一起,既支持监控,也支持可观测性下所涵盖的更深入的调查。

可观测性。 从系统的输出来理解其内部状态的能力。维基百科把软件中的可观测性(observability)描述为把监控扩展到你没有预料到的问题。二者有重叠:监控观察已知的故障;可观测性帮助你调查未知的故障。见主题 7.4 — 可观测性与遥测。

症状与原因。 症状是用户或服务所经历的,比如响应缓慢;原因是其背后的东西,比如磁盘已满。针对症状告警会告诉你用户受到了影响。针对每个可能的原因告警会产生噪音。许多团队针对症状告警,并用原因层面的指标来调查。

阈值与基线。 固定阈值,例如“CPU 超过 90%”,简单却常常出错,因为正常水平随时间和负载而变化。基线学习某个时段的正常水平,并在偏离时发出告警。维基百科关于异常检测(anomaly detection)的文章描述了这一理念及其注意事项。

事态关联。 把相关的事态合并起来以找出根本的问题,使来自一个故障组件的一百条告警变成一条。维基百科描述了事态关联(event correlation)。它可以基于规则,也可以使用机器学习。见主题 5.2 — AIOps。

合成监控与真实用户监控。 合成监控运行模拟用户的脚本化测试,定期检查某条旅程是否可用。真实用户监控记录实际用户的体验。维基百科对两者均有描述。合成检查能在安静时段发现中断;真实用户数据则显示人们实际体验到什么。

应用性能管理。 监控应用性能和可用性的工具与实践,包括响应时间和错误率。维基百科描述了这一领域。

可操作性。 每条告警都应有一项明确的行动,即使这项行动是“查看运行手册”。如果有人说不出该怎么办,这条告警应当被移除,或变成一份报告。见主题 3.9 — 知识管理。

路由与升级。 告警通过值班日程送给能采取行动的人,若无人确认则升级。见主题 3.2 — 事件管理。

事态管理与 ITIL。 ITIL 4 把“监控与事态管理”描述为一项系统地观察服务和服务组件、并记录和报告所选状态变化的实践。重点在于决定哪些事态重要,以及对每一类事态该怎么办。

这些视角如何契合。 监控是持续交付的反馈一侧:它显示一项变更是否健康。敏捷实践把告警质量当作待办事项(backlog)条目。AI 可以在审查下降低噪音、关联事态并总结。自动化可以对被充分理解的事态采取行动。分析显示趋势和噪音的代价。

最佳实践

  1. 针对用户的感受告警。 从症状开始,比如失败的请求、缓慢的页面和失败的作业。除非某个原因是可靠的早期预警,否则把原因指标用于诊断,而不是呼叫。
  2. 让每条告警都可操作。 为每条告警写明它意味着什么、谁来行动,以及首先做什么。把它链接到运行手册。移除没有对应行动的告警。
  3. 保持数量低。 统计每位值班人员每班收到的告警数,并设定上限。每周评审最嘈杂的告警,并修复或删除它们。
  4. 紧急的呼叫,其余的开工单。 只有在有人必须立即采取行动时才打电话或呼叫。把其他信号发送到队列或报告中。清楚地定义两者的区别。
  5. 谨慎使用基线。 在正常水平随时间和负载变化的地方,使用感知时间的阈值或异常检测,并加以评审。不要信任你无法向响应人员解释的模型。
  6. 把相关告警分组。 把同一原因的事态关联起来,并在某项依赖出故障时抑制下游告警。发送一条带有上下文的消息。
  7. 从用户的角度检查。 为关键旅程添加合成检查,并用真实用户数据了解体验。服务器可以“在线”,而用户却无法登录。
  8. 监控监控本身。 测试告警是否送达了人,呼叫系统是否工作,以及监控本身的无声失败是否能被发现。偶尔运行端到端测试。
  9. 事件之后评审。 问哪条告警触发了,哪条本该触发,哪些是噪音。在事件评审中调整。见主题 3.3 — 问题管理。
  10. 共享仪表板和上下文。 让开发、运维和支持人员能使用相同的数据,并显示近期变更的影响。避免没人使用的仪表板。

与团队讨论的问题

上一次是用户先于我们的监控告诉我们的事件是什么?为什么? 这个问题找出盲点。看看用户看到了什么。预期在旅程的边缘会有缺口。追问:选择一项要添加的面向用户的检查。

上个月我们的值班人员收到了多少告警?其中多少需要行动? 一起数一数。如果没人知道,这本身就是一个发现。预期可操作告警的比例很低。追问:选出最嘈杂的五条告警,决定各自的命运。

我们忽略了哪些告警?如果把它们删除会怎样? 忽略告警是疲劳的迹象。问问每一条上一次真正起作用是什么时候。追问:删除或降级一条,并设定评审日期。

谁会因为什么被叫醒?大家是否都同意值得叫醒他们? 商定呼叫的标准。预期会有分歧,这是有用的。追问:写一段话的规则,试行一个月。

如果我们的监控本身停止工作,我们怎么知道? 这个问题检验元监控。预期会沉默或含糊其辞。追问:添加心跳检查或每日测试告警,并商定谁来盯着。

我们希望 AI 对我们的告警做什么?哪些必须保持由人决定? AI 可以对告警分组、建议原因并总结上下文。它也可能抑制一条真正的告警。问问哪些行动需要批准。追问:选择仅限于分组和总结的试用,并评审它隐藏了什么。

实践:一个服务管理示例

一家区域机场的运营技术团队监控行李处理、值机系统和航班信息显示屏。六人团队每天收到约 400 条告警。值班人员说他们只是扫一眼通知,大多把它们静音了。上个月,航站楼里一台故障的网络交换机 40 分钟没人察觉,直到乘客抱怨显示屏一片空白。

团队负责人花了一周时间查看数据。每天 400 条告警中,约有 350 条来自 12 条规则,比如会自行清理的设备的磁盘警告,以及一个未使用端口的接口抖动。每天只有约 15 条需要人工采取行动。负责人和团队商定了三项改变。他们删除这 12 条嘈杂的规则,或将其降级为每日报告。他们增加了两项合成检查,每分钟从每个航站楼加载一次显示页面和值机界面,如果连续两次失败就发出呼叫。并设置了关联,使一台故障的交换机只产生一条指明受影响显示屏的告警,而不是一百条。

接下来的一个月,值班告警下降到每天约 20 条,下一次交换机故障在三分钟内被发现,一次呼叫就列出了受影响的航站楼。在每周评审中,团队发现有一条告警本不该被关联抑制却被抑制了,于是纠正了规则。

变化在于:人们信任呼叫并作出响应。仍然困难的是:行李处理供应商的设备以团队无法过滤的格式发送自己的告警,所以仍有一些噪音;少数夜班员工担心每日报告没人读;还没有人测试过监控系统本身出故障时会发生什么。负责人安排了一次演练,并增加了每日测试告警。

四种视角

产品与交付团队

内建信号:有意义的指标、日志和追踪,以及反映用户旅程的健康检查。在写告警的同时写运行手册。观察每次发布的影响。

服务与运维团队

拥有告警质量。每周评审最嘈杂的告警,保护人们免于过载,并检查每次呼叫都有对应行动。测试告警所经过的路径。

领导层与治理

要求提供可操作告警的数量,而不是监视器的数量。为修复嘈杂告警留出时间经费。把反复在非工作时间的呼叫视为对员工和质量的代价。

客户与用户

你应当在自己察觉之前,就从提供者那里听说问题,并被告知什么受到影响。报告你看到的情况,附上时间,并告诉提供者监控遗漏了哪里。

敏捷、AI、自动化与分析

敏捷

把告警和仪表板视为产品的一部分:在每次事件和发布之后小步改进。与响应人员一起评审。注意:为每个新功能增加监视器却不移除旧的,会增加噪音。

AI

AI 可以学习正常模式、对相关告警分组、建议可能的原因,并总结告警风暴,需要有负责人,由人作出决定。用过往事件测试它。注意:抑制告警的模型可能隐藏罕见但真实的故障;度量它抑制了什么以及遗漏了什么。见主题 5.2 — AIOps。

自动化

自动化对被充分理解的事态的响应,比如重启出故障的进程,以及告警的路由和丰富,带有限制和日志。注意:无限重试的自动修复可能掩盖出故障的系统或使之更糟;要增加速率限制和升级。见主题 6.6 — 运行手册自动化与自动修复。

分析

跟踪告警数量、可操作的比例、确认时间,以及由监控发现与由用户发现的事件。注意:单看告警数量,可以通过不断提高阈值直到什么都不触发来钻空子;要对照事件检查。见主题 7.4 — 可观测性与遥测和《服务管理度量》一书。

常见失败模式

  • 什么都告警。 人们把频道静音。针对症状告警,移除其余的。
  • 没有行动的告警。 响应人员不知道该做什么。链接运行手册,或删除告警。
  • 只用固定阈值。 繁忙时段误报。谨慎使用感知时间的方法或基线方法。
  • 用户先发现。 面向用户的检查有缺口。增加合成和真实用户监控。
  • 没有元监控。 监控无声地失败。增加心跳和演练。
  • 仪表板泛滥。 没人看。保留少数支持决策的。
  • 信任不透明的模型。 响应人员无法解释它做了什么。保持规则和逻辑可评审。

成熟度模型

维度 起步 发展 标准化 管理 协同
告警设计 每个阈值都告警 一些关键告警 基于症状、可操作、带运行手册的告警 度量告警质量并每周评审 告警跨服务调整并关联
覆盖 仅服务器 一些应用 通过合成检查和真实用户数据检查用户旅程 事件之后评审覆盖 覆盖在整个资产和供应商之间保持一致
噪音 压倒性的 有意识 数量受限并经评审 度量噪音并使其下降 通过关联和自动化并在监督下管理噪音
响应 手工 呼叫一个团队 带升级的路由 跟踪响应时间 安全的行动自动化并由人控制

检查清单

  • 告警基于用户能感受到的症状。
  • 每条告警都有明确的行动和链接的运行手册。
  • 每班值班告警的数量被度量并受到限制。
  • 我们每周评审最嘈杂的告警。
  • 关键用户旅程有合成检查。
  • 相关告警被关联。
  • 我们测试告警是否送达了人,以及监控故障能否被发现。
  • 对告警采取行动的 AI 或自动化有负责人、限制和评审。

AI 提示词

对嘈杂的告警排序。

这是一份告警规则清单,包含每条上个月触发的次数以及其中有多少导致了行动:[粘贴]。
请按不可操作触发的次数排序,列出前十条,并为每条规则给出一个问题,用来询问应当移除、改变还是保留。不要建议删除任何一条。
请列出你不确定的事项。

起草告警的文字。

要针对的情形:[描述]。谁来行动:[角色]。他们首先应做的检查:[列表]。
请起草一个告警标题(不超过 80 个字符)和正文(不超过 80 字),说明哪里出了问题、用户可能经历了什么,以及第一步,并为运行手册留一个链接占位符。不要猜测原因。
请列出你不确定的事项。

测试关联规则。

这是一条关联规则:[描述]。这是近期事态的清单,带有时间戳和来源:[粘贴]。
请列出该规则会把哪些事态分组、会抑制哪些,以及任何一个真正独立的问题可能被隐藏的情形。不要提出新规则。
请列出你不确定的事项。

AI 技能

主要来源

  • Betsy Beyer 等(编),Site Reliability Engineering(2016),关于监控分布式系统的章节,可在 sre.google 免费获取。
  • Rob Ewaschuk,"My Philosophy on Alerting"(2013):一篇关于基于症状告警的著名短文。
  • Wikipedia, "Alarm fatigue" 和 "Observability (software)":对关键理念的概述。
  • PeopleCert, ITIL certification pages:所有者对监控与事态管理实践的描述。

参考文献

  1. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  2. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  3. Application performance management — Wikipedia — https://en.wikipedia.org/wiki/Application_performance_management
  4. Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
  5. Log management — Wikipedia — https://en.wikipedia.org/wiki/Log_management
  6. Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
  7. Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
  8. Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
  9. Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
  10. Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
  11. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/