为什么这很重要

监控回答的是你事先想到的问题。服务在线吗?磁盘满了吗?延迟超过两秒了吗?这些都是好问题,它们能发现你以前见过的故障。但现代服务会以新的方式失败。一个组件中的变更使另一个组件中的请求变慢。单个客户的异常数据触发了一条罕见的路径。三层之下的某个依赖退化了,却没有人为它设仪表板。

当一个新的故障到来时,团队需要问没人预料到的问题:哪些请求慢、对哪些用户、经过哪些服务、从哪个发布开始?如果系统发出丰富、相连的数据,团队就可以顺藤摸瓜。如果没有,他们只能猜测,增加日志,重新部署,然后等待故障再次发生。维基百科把软件中的可观测性(observability)描述为从系统的外部输出理解其内部状态的能力,这一理念借自控制理论。

实际的工作在遥测上:系统关于自身发出的数据。良好的遥测是经过设计的、一致的、相连的,使得一次用户投诉可以追溯到一个请求,该请求可以追溯到它触及的服务,而缓慢则可以追溯到某个具体的调用。本主题描述遥测的主要种类、使之可移植的标准,以及随之而来的成本和风险。它建立在监控(主题 3.10 — 监控与事态管理)之上,并与 SRE(主题 2.6 — 站点可靠性工程)、AIOps(主题 5.2 — AIOps)和数据治理(主题 7.2 — 数据基础与治理)相联系。

核心概念

遥测。 从系统收集并发送到可以检查它的地方的数据。维基百科一般性地描述了遥测(telemetry)。在软件中,主要信号是指标、日志和追踪,还有较新的如剖析和事态。

指标。 随时间测量的数字,比如请求速率、错误率、延迟、内存使用和队列深度。指标存储成本低,适合看趋势、告警和仪表板。它们是汇总,所以丢失了关于单个请求的细节。维基百科描述的时间序列数据库(time series databases)可以高效地存储它们;Prometheus 是一个广泛使用的开源例子。

日志。 带时间戳的离散事态记录,比如一条错误信息或一笔完成的交易。维基百科描述了计算机中的日志记录(logging)。日志保存着细节,体量庞大,存储和搜索成本高昂。结构化日志使用一致的命名字段而不是自由文本,更易于查询并与其他信号关联。

追踪。 对一个请求穿过分布式系统各部分的路径的记录,显示它经过了哪些服务、每一步花了多长时间。维基百科描述了软件中的追踪(tracing)。在由许多服务构成的系统,比如微服务(维基百科也有描述)中,追踪回答“时间花在哪里了?”。

上下文与关联。 使这三种信号合在一起变得强大的,是共同的上下文:一个把日志行与追踪和用户请求联系起来的标识符,以及所有东西上的服务、版本和环境等标签。没有共同的上下文,你只有三堆数据。有了它,你就能从指标中的一个慢请求,移动到追踪,再移动到解释它的那一行日志。

插桩。 添加产生遥测的代码。维基百科描述了编程中的插桩(instrumentation)。它可以是自动的,通过库和代理;也可以是手工的,由开发人员添加对业务重要的信号,比如“订单已提交”。要对用户做什么进行插桩,而不仅仅是机器做什么。

OpenTelemetry 与开放标准。 OpenTelemetry 是云原生计算基金会(Cloud Native Computing Foundation,维基百科有描述)下的开源项目,提供发出指标、日志和追踪的通用格式和工具,与存储和分析它们的工具无关。其现状请查阅项目自己的网站。其目的是让你一次收集遥测,就能把它发送到任何兼容的后端,从而减少锁定。维基百科一般性地描述了开放标准和供应商锁定。见主题 3.14 — 供应商管理。

监控与可观测性。 监控观察已知的状况并告警;可观测性支持探索未知的状况。两者互补:告警告诉你有问题,探索告诉你为什么。见主题 3.10 — 监控与事态管理。

来自遥测的服务级别指标。 SLI,比如在一定时间内成功的请求所占份额,是由遥测计算出来的。从用户的角度定义它们,并在用户请求进入系统的地方度量。见主题 2.6 — 站点可靠性工程和维基百科关于服务级别目标(service-level objectives)的文章。

用户与业务遥测。 维基百科描述的真实用户监控和合成监控(synthetic monitoring)从外部显示体验:页面加载时间、旅程成功率、浏览器和应用中的错误。业务事态,比如注册和付款,把技术健康与成果联系起来。见主题 7.7 — 体验与情感分析。

基数与成本。 基数(cardinality)是标签不同取值的数量。按用户标识符打标签的指标有巨大的基数,可能压垮指标存储。维基百科描述了数据建模中的基数。遥测量随流量和细节增长,存储和处理成本也随之增长。决定哪些以完整细节保留、哪些抽样、哪些汇总。

抽样。 只保留一部分追踪或日志。维基百科描述了统计中的抽样(sampling)。抽样降低成本,也可能隐藏罕见事态;可以考虑保留所有错误和慢请求,只对正常的抽样。

保留。 遥测保留多久。高细节数据保留时间短,汇总数据保留得更久。保留影响成本、调查和隐私。见主题 7.2 — 数据基础与治理。

遥测中的隐私与安全。 日志和追踪可能无意或有意地包含个人数据、凭据和机密。维基百科描述了个人数据(personal data)。在源头清除或避免敏感字段,控制访问,并设定保留期。遥测也是一个安全数据源。见主题 3.13 — 信息安全管理。

面向 AI 的可观测性。 AI 系统需要它们自己的遥测:输入、输出、延迟、成本、错误和拒绝率、用户反馈,以及漂移的信号。记录足以调查一个错误回答的内容,同时注意所记录的数据。见主题 5.1 — 服务管理中的 AI。

平台与所有权。 许多组织运行共享的遥测平台,具有关于命名、标签和保留的标准,以及拥有自己服务所发信号的团队。平台团队提供工具和指南;服务团队拥有自己所发出的内容以及如何使用它。

这些视角如何契合。 可观测性是分析和 AIOps 的数据基础。敏捷实践把插桩作为完成定义的一部分。自动化利用遥测进行伸缩和修复。

最佳实践

  1. 边构建边插桩。 把遥测视为功能的一部分。把它纳入完成定义,并随设计一起评审。
  2. 标准化名称和上下文。 商定服务名称、标签集、单位,以及一个贯穿每个服务的请求标识符。记录下来,并在流水线中检查。
  3. 发出结构化日志。 使用一致的命名字段,包含请求标识符,并保持消息简短。避免记录机密和不必要的个人数据。
  4. 追踪重要的路径。 对主要的用户旅程和服务之间的调用进行插桩,并让上下文在每一跳中传播,包括队列和外部调用。
  5. 从用户的角度定义指标。 在用户接触点上用遥测计算 SLI,并增加显示用户是否完成了其来意的业务事态。
  6. 使用开放格式。 倾向于用开放标准发出遥测,使你可以更换后端而无需重新插桩。检查你的平台是否支持。
  7. 有意识地控制成本。 为遥测设定预算,避免高基数的标签,对正常流量抽样,保留错误和慢请求,并分层保留。
  8. 保护遥测。 在源头清除敏感数据,限制访问,并应用保留规则。监控对遥测存储的访问。
  9. 使之可用。 给团队共享的仪表板、保存的查询,以及关于如何调查的培训。把告警链接到相关的遥测和运行手册。
  10. 事件之后评审遥测。 问事件期间有什么你看不到,并加上去。移除没人使用的信号。

与团队讨论的问题

在我们上一次事件中,我们想知道什么却找不到答案? 问问响应人员。预期在追踪、上下文或用户级别的数据方面有缺口。追问:选择一个缺口并增加该信号。

我们能否跟踪单个用户的请求,经过它触及的所有服务? 用一个真实的请求试一试。预期会在队列和外部调用处断开。追问:让标识符通过第一个断点传播。

我们记录了什么是不该记录的?我们没记录什么是应该记录的? 看一批日志样本。预期有机密、个人数据和噪音。追问:商定一条规则和一个清除程序。

我们在遥测上花多少钱?我们得到了什么? 索要数字和最大的来源。预期会有意外。追问:选择最昂贵而最少使用的信号去削减或抽样。

我们与当前的遥测工具绑得有多紧?要更换需要什么? 估算一下。预期会听到“很多”。追问:选择一项服务,用开放标准对它进行插桩。

我们的 AI 功能产生哪些遥测?能否据此调查一个错误的回答? 询问。预期记录极少。追问:商定在隐私限制之下记录什么,并尝试一次调查。

实践:一个服务管理示例

一家国家气象局的公共 API 通过八个内部服务,每天处理数百万次请求。用户抱怨某些地点偶尔响应缓慢。监控显示 API 平均而言在其延迟目标之内,而每个服务单独看起来都很健康。值班工程师花了两天追查这个问题。

平台团队一直在转向 OpenTelemetry 插桩。在 API 的网关和八个服务中的四个上,请求携带追踪标识符,每个服务记录带有计时的跨度。有了追踪,工程师过滤出最近一周的慢请求,发现几乎全都经过同一个调用:在地理数据服务中查找名称含有不寻常字符的地点,耗时是正常的十倍。其他四个服务尚未插桩,但缺口已经窄到足以手工调查。原因是这些查询缺少一个数据库索引,修复只花了一小时。

团队评审了成本。遥测支出在六个月里增长了 40%,主要来自某个指标上包含所请求地点的一个标签,它有数十万个取值。他们移除了这个标签,把地点保留在追踪和日志中,对 5% 的普通追踪抽样,同时保留所有错误和慢请求。在隐私官指出 IP 地址在某些司法辖区算作个人数据之后,一项清除程序在 24 小时后从日志中去掉 IP 地址。

团队还增加了一个业务信号:返回空结果的 API 调用的计数,过去用户把它报告为“没有数据”。它显示出每次模型更新之后的一种规律。

变化在于:调查只需数小时而不是数天,成本下降了三分之一。仍然困难的是:仍有四个服务缺少追踪,其中两个由另一个机构拥有;抽样规则已经隐藏了一个罕见的错误,它只出现在未被抽样的流量中,是在日志里发现的;工程师需要练习才能用好追踪工具。团队安排了一次培训,并规定保留所有含有任何错误的追踪。

四种视角

产品与交付团队

把遥测内建于功能:一致的名称、请求标识符、结构化日志、关键路径上的跨度,以及业务事态。避免在信号中放入机密,并在设计中评审遥测。

服务与运维团队

用遥测来调查,而不仅仅是告警。保持仪表板、查询和运行手册的链接,并告诉开发人员你看不到什么。留意遥测的成本和质量。

领导层与治理

为平台、标准和培训出资。要求提供遥测缩短调查时间并反映用户体验的证据。设定预算和隐私规则,并倾向于开放标准。

客户与用户

当提供者能迅速把你的问题追溯到原因时,你会受益。报告问题时提供细节,比如时间以及你做了什么,这有助于找到你的请求。

敏捷、AI、自动化与分析

敏捷

随每项功能小步增加插桩,并在每次事件之后改进。与团队一起评审仪表板,并移除没人使用的。注意:在最后才把遥测补上会产生缺口;把它纳入完成定义。

AI

AI 可以总结追踪和日志、对异常分组并回答关于遥测的问题,需要有负责人和检查。AI 功能也需要它们自己的遥测。注意:AI 分析取决于数据的质量和上下文;糟糕的标签会产生糟糕的结论。见主题 5.2 — AIOps。

自动化

在库允许的地方自动化插桩,在流水线中强制执行命名和标签标准,并带限制地利用遥测进行伸缩和修复。注意:由嘈杂的遥测触发的自动化可能误触发;测试阈值并增加限制。见主题 6.6 — 运行手册自动化与自动修复。

分析

用遥测获得 SLI、趋势、容量和用户体验,以及遥测本身的成本。注意:抽样和汇总改变数据所能显示的内容,高基数的标签可能扭曲或搞垮系统;在报告中说明局限。见主题 7.1 — 服务管理分析和《服务管理度量》一书。

常见失败模式

  • 三堆数据。 指标、日志和追踪无法关联。共享标识符和标签。
  • 遥测是事后补充。 事件中出现缺口。随功能一起插桩。
  • 高基数的标签。 成本和性能受损。限制标签,把细节保留在追踪和日志中。
  • 日志中有机密和个人数据。 敏感数据泄露。在源头清除并控制访问。
  • 被锁定在一个工具上。 更换代价高昂。使用开放标准。
  • 一切永久保留。 成本上升。分层保留并抽样。
  • 没人使用的仪表板。 精力被浪费。修剪并链接到决策。

成熟度模型

维度 起步 发展 标准化 管理 协同
覆盖 基础设施指标 关键服务有指标和日志 关键旅程上有带共同上下文的指标、日志和追踪 事件之后评审覆盖 覆盖在各服务和供应商之间保持一致
标准 无 本地约定 商定了命名、标签和开放格式 在流水线中检查标准 标准共享并随平台演进
成本与保留 不受管理 有意识 预算、抽样和分层保留 评审每个信号的成本和价值 持续优化成本和价值
保护 不清楚 基本的访问控制 清除、访问和保留规则 监控合规情况 控制措施内建于收集和存储

检查清单

  • 遥测是我们完成定义的一部分。
  • 我们有商定的名称、标签、单位,以及贯穿各服务的请求标识符。
  • 日志是结构化的,没有机密和不必要的个人数据。
  • 关键用户旅程被端到端追踪。
  • SLI 在用户接触点上由遥测计算。
  • 我们使用开放格式发出遥测。
  • 我们有遥测预算,并有抽样和分层保留。
  • 每次事件之后,我们评审看不到什么。

AI 提示词

从一次事件中找出遥测的缺口。

这是一次事件的时间线,以及响应人员试图查明什么的笔记:[粘贴]。
请列出响应人员无法回答的每个问题、什么信号本可以回答它(指标、日志、追踪、用户数据),以及向负责团队提出的一个问题。不要假设任何信号存在。
请列出你不确定的事项。

检查日志样本中的敏感数据。

这是我们服务的一批日志行样本:[粘贴,已部分清除]。
请列出看起来像机密、个人数据或内部细节的内容,引用确切的文本,并建议清除规则的类别。不要猜测其中任何一个是否真实。
请列出你不确定的事项。

提出命名和标签标准。

我们的服务:[列表]。我们的环境:[列表]。我们的团队:[列表]。我们希望能够据以过滤的:[列表]。
请起草一份一页纸的标准,涵盖服务名称、标签键、允许的值和请求标识符,并附示例。对可能有极多不同取值的标签给出警告。不要点名供应商。
请列出你不确定的事项。

AI 技能

主要来源

  • OpenTelemetry (opentelemetry.io):指标、日志和追踪的开放标准和工具。
  • Charity Majors、Liz Fong-Jones 和 George Miranda,Observability Engineering(2022):关于这一方法的从业者指南。
  • Betsy Beyer 等(编),Site Reliability Engineering(2016),关于监控的章节,可在 sre.google 免费获取。
  • Wikipedia, "Observability (software)" 和 "Telemetry":对这些理念的概述。

参考文献

  1. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  2. Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
  3. Logging (computing) — Wikipedia — https://en.wikipedia.org/wiki/Logging_(computing)
  4. Tracing (software) — Wikipedia — https://en.wikipedia.org/wiki/Tracing_(software)
  5. Time series database — Wikipedia — https://en.wikipedia.org/wiki/Time_series_database
  6. Prometheus (software) — Wikipedia — https://en.wikipedia.org/wiki/Prometheus_(software)
  7. Cloud Native Computing Foundation — Wikipedia — https://en.wikipedia.org/wiki/Cloud_Native_Computing_Foundation
  8. Instrumentation (computer programming) — Wikipedia — https://en.wikipedia.org/wiki/Instrumentation_(computer_programming)
  9. Cardinality (data modeling) — Wikipedia — https://en.wikipedia.org/wiki/Cardinality_(data_modeling)
  10. Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
  11. Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
  12. OpenTelemetry — Cloud Native Computing Foundation — https://opentelemetry.io