可观测性与遥测
可观测性是对运行中的系统提出新问题,并从它发出的数据中得到答案的能力:带有一致上下文的指标、日志和追踪;当遥测被设计进去、以开放格式标准化、成本可承受,并用于理解用户体验而不仅仅是机器健康时,它才会有回报。
为什么这很重要
监控回答的是你事先想到的问题。服务在线吗?磁盘满了吗?延迟超过两秒了吗?这些都是好问题,它们能发现你以前见过的故障。但现代服务会以新的方式失败。一个组件中的变更使另一个组件中的请求变慢。单个客户的异常数据触发了一条罕见的路径。三层之下的某个依赖退化了,却没有人为它设仪表板。
当一个新的故障到来时,团队需要问没人预料到的问题:哪些请求慢、对哪些用户、经过哪些服务、从哪个发布开始?如果系统发出丰富、相连的数据,团队就可以顺藤摸瓜。如果没有,他们只能猜测,增加日志,重新部署,然后等待故障再次发生。维基百科把软件中的可观测性(observability)描述为从系统的外部输出理解其内部状态的能力,这一理念借自控制理论。
实际的工作在遥测上:系统关于自身发出的数据。良好的遥测是经过设计的、一致的、相连的,使得一次用户投诉可以追溯到一个请求,该请求可以追溯到它触及的服务,而缓慢则可以追溯到某个具体的调用。本主题描述遥测的主要种类、使之可移植的标准,以及随之而来的成本和风险。它建立在监控(主题 3.10 — 监控与事态管理)之上,并与 SRE(主题 2.6 — 站点可靠性工程)、AIOps(主题 5.2 — AIOps)和数据治理(主题 7.2 — 数据基础与治理)相联系。
核心概念
遥测。 从系统收集并发送到可以检查它的地方的数据。维基百科一般性地描述了遥测(telemetry)。在软件中,主要信号是指标、日志和追踪,还有较新的如剖析和事态。
指标。 随时间测量的数字,比如请求速率、错误率、延迟、内存使用和队列深度。指标存储成本低,适合看趋势、告警和仪表板。它们是汇总,所以丢失了关于单个请求的细节。维基百科描述的时间序列数据库(time series databases)可以高效地存储它们;Prometheus 是一个广泛使用的开源例子。
日志。 带时间戳的离散事态记录,比如一条错误信息或一笔完成的交易。维基百科描述了计算机中的日志记录(logging)。日志保存着细节,体量庞大,存储和搜索成本高昂。结构化日志使用一致的命名字段而不是自由文本,更易于查询并与其他信号关联。
追踪。 对一个请求穿过分布式系统各部分的路径的记录,显示它经过了哪些服务、每一步花了多长时间。维基百科描述了软件中的追踪(tracing)。在由许多服务构成的系统,比如微服务(维基百科也有描述)中,追踪回答“时间花在哪里了?”。
上下文与关联。 使这三种信号合在一起变得强大的,是共同的上下文:一个把日志行与追踪和用户请求联系起来的标识符,以及所有东西上的服务、版本和环境等标签。没有共同的上下文,你只有三堆数据。有了它,你就能从指标中的一个慢请求,移动到追踪,再移动到解释它的那一行日志。
插桩。 添加产生遥测的代码。维基百科描述了编程中的插桩(instrumentation)。它可以是自动的,通过库和代理;也可以是手工的,由开发人员添加对业务重要的信号,比如“订单已提交”。要对用户做什么进行插桩,而不仅仅是机器做什么。
OpenTelemetry 与开放标准。 OpenTelemetry 是云原生计算基金会(Cloud Native Computing Foundation,维基百科有描述)下的开源项目,提供发出指标、日志和追踪的通用格式和工具,与存储和分析它们的工具无关。其现状请查阅项目自己的网站。其目的是让你一次收集遥测,就能把它发送到任何兼容的后端,从而减少锁定。维基百科一般性地描述了开放标准和供应商锁定。见主题 3.14 — 供应商管理。
监控与可观测性。 监控观察已知的状况并告警;可观测性支持探索未知的状况。两者互补:告警告诉你有问题,探索告诉你为什么。见主题 3.10 — 监控与事态管理。
来自遥测的服务级别指标。 SLI,比如在一定时间内成功的请求所占份额,是由遥测计算出来的。从用户的角度定义它们,并在用户请求进入系统的地方度量。见主题 2.6 — 站点可靠性工程和维基百科关于服务级别目标(service-level objectives)的文章。
用户与业务遥测。 维基百科描述的真实用户监控和合成监控(synthetic monitoring)从外部显示体验:页面加载时间、旅程成功率、浏览器和应用中的错误。业务事态,比如注册和付款,把技术健康与成果联系起来。见主题 7.7 — 体验与情感分析。
基数与成本。 基数(cardinality)是标签不同取值的数量。按用户标识符打标签的指标有巨大的基数,可能压垮指标存储。维基百科描述了数据建模中的基数。遥测量随流量和细节增长,存储和处理成本也随之增长。决定哪些以完整细节保留、哪些抽样、哪些汇总。
抽样。 只保留一部分追踪或日志。维基百科描述了统计中的抽样(sampling)。抽样降低成本,也可能隐藏罕见事态;可以考虑保留所有错误和慢请求,只对正常的抽样。
保留。 遥测保留多久。高细节数据保留时间短,汇总数据保留得更久。保留影响成本、调查和隐私。见主题 7.2 — 数据基础与治理。
遥测中的隐私与安全。 日志和追踪可能无意或有意地包含个人数据、凭据和机密。维基百科描述了个人数据(personal data)。在源头清除或避免敏感字段,控制访问,并设定保留期。遥测也是一个安全数据源。见主题 3.13 — 信息安全管理。
面向 AI 的可观测性。 AI 系统需要它们自己的遥测:输入、输出、延迟、成本、错误和拒绝率、用户反馈,以及漂移的信号。记录足以调查一个错误回答的内容,同时注意所记录的数据。见主题 5.1 — 服务管理中的 AI。
平台与所有权。 许多组织运行共享的遥测平台,具有关于命名、标签和保留的标准,以及拥有自己服务所发信号的团队。平台团队提供工具和指南;服务团队拥有自己所发出的内容以及如何使用它。
这些视角如何契合。 可观测性是分析和 AIOps 的数据基础。敏捷实践把插桩作为完成定义的一部分。自动化利用遥测进行伸缩和修复。
最佳实践
- 边构建边插桩。 把遥测视为功能的一部分。把它纳入完成定义,并随设计一起评审。
- 标准化名称和上下文。 商定服务名称、标签集、单位,以及一个贯穿每个服务的请求标识符。记录下来,并在流水线中检查。
- 发出结构化日志。 使用一致的命名字段,包含请求标识符,并保持消息简短。避免记录机密和不必要的个人数据。
- 追踪重要的路径。 对主要的用户旅程和服务之间的调用进行插桩,并让上下文在每一跳中传播,包括队列和外部调用。
- 从用户的角度定义指标。 在用户接触点上用遥测计算 SLI,并增加显示用户是否完成了其来意的业务事态。
- 使用开放格式。 倾向于用开放标准发出遥测,使你可以更换后端而无需重新插桩。检查你的平台是否支持。
- 有意识地控制成本。 为遥测设定预算,避免高基数的标签,对正常流量抽样,保留错误和慢请求,并分层保留。
- 保护遥测。 在源头清除敏感数据,限制访问,并应用保留规则。监控对遥测存储的访问。
- 使之可用。 给团队共享的仪表板、保存的查询,以及关于如何调查的培训。把告警链接到相关的遥测和运行手册。
- 事件之后评审遥测。 问事件期间有什么你看不到,并加上去。移除没人使用的信号。
与团队讨论的问题
在我们上一次事件中,我们想知道什么却找不到答案? 问问响应人员。预期在追踪、上下文或用户级别的数据方面有缺口。追问:选择一个缺口并增加该信号。
我们能否跟踪单个用户的请求,经过它触及的所有服务? 用一个真实的请求试一试。预期会在队列和外部调用处断开。追问:让标识符通过第一个断点传播。
我们记录了什么是不该记录的?我们没记录什么是应该记录的? 看一批日志样本。预期有机密、个人数据和噪音。追问:商定一条规则和一个清除程序。
我们在遥测上花多少钱?我们得到了什么? 索要数字和最大的来源。预期会有意外。追问:选择最昂贵而最少使用的信号去削减或抽样。
我们与当前的遥测工具绑得有多紧?要更换需要什么? 估算一下。预期会听到“很多”。追问:选择一项服务,用开放标准对它进行插桩。
我们的 AI 功能产生哪些遥测?能否据此调查一个错误的回答? 询问。预期记录极少。追问:商定在隐私限制之下记录什么,并尝试一次调查。
实践:一个服务管理示例
一家国家气象局的公共 API 通过八个内部服务,每天处理数百万次请求。用户抱怨某些地点偶尔响应缓慢。监控显示 API 平均而言在其延迟目标之内,而每个服务单独看起来都很健康。值班工程师花了两天追查这个问题。
平台团队一直在转向 OpenTelemetry 插桩。在 API 的网关和八个服务中的四个上,请求携带追踪标识符,每个服务记录带有计时的跨度。有了追踪,工程师过滤出最近一周的慢请求,发现几乎全都经过同一个调用:在地理数据服务中查找名称含有不寻常字符的地点,耗时是正常的十倍。其他四个服务尚未插桩,但缺口已经窄到足以手工调查。原因是这些查询缺少一个数据库索引,修复只花了一小时。
团队评审了成本。遥测支出在六个月里增长了 40%,主要来自某个指标上包含所请求地点的一个标签,它有数十万个取值。他们移除了这个标签,把地点保留在追踪和日志中,对 5% 的普通追踪抽样,同时保留所有错误和慢请求。在隐私官指出 IP 地址在某些司法辖区算作个人数据之后,一项清除程序在 24 小时后从日志中去掉 IP 地址。
团队还增加了一个业务信号:返回空结果的 API 调用的计数,过去用户把它报告为“没有数据”。它显示出每次模型更新之后的一种规律。
变化在于:调查只需数小时而不是数天,成本下降了三分之一。仍然困难的是:仍有四个服务缺少追踪,其中两个由另一个机构拥有;抽样规则已经隐藏了一个罕见的错误,它只出现在未被抽样的流量中,是在日志里发现的;工程师需要练习才能用好追踪工具。团队安排了一次培训,并规定保留所有含有任何错误的追踪。
四种视角
产品与交付团队
把遥测内建于功能:一致的名称、请求标识符、结构化日志、关键路径上的跨度,以及业务事态。避免在信号中放入机密,并在设计中评审遥测。
服务与运维团队
用遥测来调查,而不仅仅是告警。保持仪表板、查询和运行手册的链接,并告诉开发人员你看不到什么。留意遥测的成本和质量。
领导层与治理
为平台、标准和培训出资。要求提供遥测缩短调查时间并反映用户体验的证据。设定预算和隐私规则,并倾向于开放标准。
客户与用户
当提供者能迅速把你的问题追溯到原因时,你会受益。报告问题时提供细节,比如时间以及你做了什么,这有助于找到你的请求。
敏捷、AI、自动化与分析
敏捷
随每项功能小步增加插桩,并在每次事件之后改进。与团队一起评审仪表板,并移除没人使用的。注意:在最后才把遥测补上会产生缺口;把它纳入完成定义。
AI
AI 可以总结追踪和日志、对异常分组并回答关于遥测的问题,需要有负责人和检查。AI 功能也需要它们自己的遥测。注意:AI 分析取决于数据的质量和上下文;糟糕的标签会产生糟糕的结论。见主题 5.2 — AIOps。
自动化
在库允许的地方自动化插桩,在流水线中强制执行命名和标签标准,并带限制地利用遥测进行伸缩和修复。注意:由嘈杂的遥测触发的自动化可能误触发;测试阈值并增加限制。见主题 6.6 — 运行手册自动化与自动修复。
分析
用遥测获得 SLI、趋势、容量和用户体验,以及遥测本身的成本。注意:抽样和汇总改变数据所能显示的内容,高基数的标签可能扭曲或搞垮系统;在报告中说明局限。见主题 7.1 — 服务管理分析和《服务管理度量》一书。
常见失败模式
- 三堆数据。 指标、日志和追踪无法关联。共享标识符和标签。
- 遥测是事后补充。 事件中出现缺口。随功能一起插桩。
- 高基数的标签。 成本和性能受损。限制标签,把细节保留在追踪和日志中。
- 日志中有机密和个人数据。 敏感数据泄露。在源头清除并控制访问。
- 被锁定在一个工具上。 更换代价高昂。使用开放标准。
- 一切永久保留。 成本上升。分层保留并抽样。
- 没人使用的仪表板。 精力被浪费。修剪并链接到决策。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 覆盖 | 基础设施指标 | 关键服务有指标和日志 | 关键旅程上有带共同上下文的指标、日志和追踪 | 事件之后评审覆盖 | 覆盖在各服务和供应商之间保持一致 |
| 标准 | 无 | 本地约定 | 商定了命名、标签和开放格式 | 在流水线中检查标准 | 标准共享并随平台演进 |
| 成本与保留 | 不受管理 | 有意识 | 预算、抽样和分层保留 | 评审每个信号的成本和价值 | 持续优化成本和价值 |
| 保护 | 不清楚 | 基本的访问控制 | 清除、访问和保留规则 | 监控合规情况 | 控制措施内建于收集和存储 |
检查清单
- 遥测是我们完成定义的一部分。
- 我们有商定的名称、标签、单位,以及贯穿各服务的请求标识符。
- 日志是结构化的,没有机密和不必要的个人数据。
- 关键用户旅程被端到端追踪。
- SLI 在用户接触点上由遥测计算。
- 我们使用开放格式发出遥测。
- 我们有遥测预算,并有抽样和分层保留。
- 每次事件之后,我们评审看不到什么。
AI 提示词
从一次事件中找出遥测的缺口。
这是一次事件的时间线,以及响应人员试图查明什么的笔记:[粘贴]。
请列出响应人员无法回答的每个问题、什么信号本可以回答它(指标、日志、追踪、用户数据),以及向负责团队提出的一个问题。不要假设任何信号存在。
请列出你不确定的事项。
检查日志样本中的敏感数据。
这是我们服务的一批日志行样本:[粘贴,已部分清除]。
请列出看起来像机密、个人数据或内部细节的内容,引用确切的文本,并建议清除规则的类别。不要猜测其中任何一个是否真实。
请列出你不确定的事项。
提出命名和标签标准。
我们的服务:[列表]。我们的环境:[列表]。我们的团队:[列表]。我们希望能够据以过滤的:[列表]。
请起草一份一页纸的标准,涵盖服务名称、标签键、允许的值和请求标识符,并附示例。对可能有极多不同取值的标签给出警告。不要点名供应商。
请列出你不确定的事项。
AI 技能
- anomaly-analysis:用于检查遥测中的异常模式。
- data-pipeline:用于设计遥测如何移动和存储。
- data-governance:用于设定隐私、保留和访问规则。
- key-risk-indicators:用于选择预警信号。
- performance-testing:用于借助遥测测试延迟和容量。
主要来源
- OpenTelemetry (opentelemetry.io):指标、日志和追踪的开放标准和工具。
- Charity Majors、Liz Fong-Jones 和 George Miranda,Observability Engineering(2022):关于这一方法的从业者指南。
- Betsy Beyer 等(编),Site Reliability Engineering(2016),关于监控的章节,可在 sre.google 免费获取。
- Wikipedia, "Observability (software)" 和 "Telemetry":对这些理念的概述。
参考文献
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Logging (computing) — Wikipedia — https://en.wikipedia.org/wiki/Logging_(computing)
- Tracing (software) — Wikipedia — https://en.wikipedia.org/wiki/Tracing_(software)
- Time series database — Wikipedia — https://en.wikipedia.org/wiki/Time_series_database
- Prometheus (software) — Wikipedia — https://en.wikipedia.org/wiki/Prometheus_(software)
- Cloud Native Computing Foundation — Wikipedia — https://en.wikipedia.org/wiki/Cloud_Native_Computing_Foundation
- Instrumentation (computer programming) — Wikipedia — https://en.wikipedia.org/wiki/Instrumentation_(computer_programming)
- Cardinality (data modeling) — Wikipedia — https://en.wikipedia.org/wiki/Cardinality_(data_modeling)
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- OpenTelemetry — Cloud Native Computing Foundation — https://opentelemetry.io