为什么这很重要

运维团队淹没在数据之中。一项现代服务每天产生数百万行日志、数千项指标和数百条告警。人无法全部读完,所以设定阈值和规则来决定看什么。规则增多、相互作用,然后衰败。大多数告警最后证明是噪音,而一些真正的问题就藏在其中。

AIOps 这个术语由分析机构 Gartner 在 2010 年代中期从“algorithmic IT operations”(算法化 IT 运维)创造,现在通常被解读为“AI for IT operations”(用于 IT 运维的 AI),它承诺提供帮助。它使用机器学习来了解什么是正常的,察觉什么不正常,把相关的告警归为一个事态,并建议原因可能在哪里。维基百科把 AIOps 描述为应用人工智能增强 IT 运维。供应商用很强的措辞来介绍它。从业者报告在某些用途上有真实的收益,比如降低噪音,而在另一些用途上则令人失望,比如全自动诊断。

对服务管理而言,问题是实际的:AIOps 的哪些部分带来可靠的价值,你如何检验它们,又如何让人保持控制?本主题描述主要技术、它们典型的失败模式,以及合理的采纳路径。它建立在监控(主题 3.10 — 监控与事态管理)和可观测性(主题 7.4 — 可观测性与遥测)之上,并与事件管理(主题 3.2 — 事件管理)和运行手册自动化(主题 6.6 — 运行手册自动化与自动修复)有所重叠。

核心概念

AIOps。 在运维数据上使用 AI 技术,主要是机器学习和统计,来支持异常检测、事态关联、根因建议和预测等任务。它是一组技术,而不是单一的产品,能力差异很大。

异常检测。 发现与预期不同的数据点或模式。维基百科描述了异常检测(anomaly detection)及其方法。在运维中,模型可能学习请求的正常每日和每周规律,并标出偏离。正常不是恒定的:季节性(seasonality,维基百科有描述)意味着周一早晨看起来与周日夜晚不同。好的检测器会考虑到这一点。

时间序列。 随时间记录的数据,比如响应时间或错误计数。维基百科描述了时间序列分析(time series analysis)。大多数运维指标都是时间序列,AIOps 技术建立在对其建模和预测的方法之上。

事态关联与降噪。 将源于同一原因的告警合并为单一事件,并抑制重复和已知的噪音。维基百科描述了事态关联(event correlation)。聚类技术,维基百科称之为聚类分析(cluster analysis),按相似性对条目分组。好的关联能把两百条告警变成一条,并指出可能的来源。

根因建议。 利用拓扑、变更记录、日志和过往事件,提出故障可能在哪里。建议只是假设。当它们指向一项近期变更或某个依赖时最有用,当原因是新颖的时则最不可靠。

预测性运维。 在问题发生之前预测它们,比如三天后将被填满的磁盘,或可能出故障的组件。维基百科描述了预测性维护(predictive maintenance)和预测分析。预测是概率,每一种都有误报和漏报的代价。见主题 7.5 — 预测分析与预报。

日志分析。 使用自然语言处理和统计技术,在日志中发现模式,比如新的消息类型或频率变化。维基百科描述了日志分析(log analysis)。

运维中的生成式 AI。 大语言模型可以总结事件时间线、把告警翻译成通俗语言、起草运行手册步骤,并回答关于环境的问题。它们带来灵活性,也带来编造内容的风险。见主题 5.4 — 面向事件、知识与变更的生成式 AI。

精确率、召回率与错误的代价。 检测器可能以两种方式出错:发出误报(假阳性),或漏掉真正的问题(假阴性)。维基百科描述了这两类错误以及精确率和召回率(precision and recall)这两个度量。为减少其中一种而调整,会增加另一种。合适的平衡取决于各自的代价,不同的服务值得不同的设置。

概念漂移。 模型从过去的数据中学习,而世界在变化:新的发布、新的流量模式、新的基础设施。维基百科描述了概念漂移(concept drift),即被预测对象的统计特性随时间变化。一个一月份还准确的模型,到六月份可能会产生误导,除非对它进行监控和再训练。

可解释性。 如果响应人员能看到建议为何产生:哪些指标变化了、哪些事态被分组、哪项变更先于这一转变,他们就会更信任这条建议,也能更有效地纠正它。维基百科描述了可解释人工智能(explainable artificial intelligence)和黑箱问题。对于运维,倾向于展示其证据的方法。

数据质量与覆盖。 AIOps 需要良好的数据:完整、一致、时间戳正确,并标有服务和负责人。缺失或不一致的数据会造成遗漏的信号和虚假的关联。见主题 4.4 — 配置管理和主题 7.2 — 数据基础与治理。

自主与自愈的理念。 长期以来的目标,是让系统检测并修复自己的故障,维基百科称之为自主计算(autonomic computing)。其中一部分在今天是可行的,比如重启失败的进程。广泛的自愈要困难得多。见主题 6.6 — 运行手册自动化与自动修复。

人工监督。 响应人员仍然负责。AIOps 的输出是人类决策的输入,除非一项范围狭窄的行动已经过测试和批准可以自动运行。见主题 5.5 — 代理式 AI 与人工监督。

这些视角如何契合。 AIOps 把 AI 和分析结合起来用于服务管理的运维部分。敏捷实践建议在一项服务上做小规模试用,并获得值班人员的反馈。自动化使用 AIOps 的输出,例如开立工单或运行一项安全的检查。

最佳实践

  1. 从一个清晰的痛点开始。 选一个问题,比如单个服务上告警太多,以及一个度量,比如每班的呼叫次数。在那里试用 AIOps。
  2. 先把数据理顺。 检查日志和指标是否完整、时间戳是否一致,以及服务和负责人是否有标注。在责怪模型之前先修复缺口。
  3. 用过往事件来测试。 让历史数据通过该工具重放,问它会标记、分组或建议什么。统计误报和漏报。
  4. 与简单方法作比较。 与固定阈值和基本规则作比较。如果简单方法做得一样好,就用它。不要为没有增加任何东西的复杂性付费。
  5. 倾向于可解释的输出。 选择展示告警或建议原因背后证据的工具。要求响应人员能够看到并质疑它。
  6. 从建议模式开始。 让工具提出建议,由人来决定。在赋予它任何自动行动之前,用几周时间对照实际发生的情况评审这些建议。
  7. 限制自动行动。 只允许范围狭窄、被充分理解且可逆的行动,带有速率限制、日志和手动停止。启用之前评审每一类行动。
  8. 监控模型。 跟踪误报、漏报,以及有用建议的比例。在重大发布后留意漂移,并在需要时再训练或重新配置。
  9. 让值班人员参与。 请他们在工具中为建议打分,并每周评审他们的反馈。他们是判断有用程度的最佳人选。
  10. 记录被抑制的内容。 保留一份系统隐藏或合并的告警日志,并定期评审样本。抑制是最糟糕的失败发生的地方。

与团队讨论的问题

哪些告警浪费了我们最多的值班时间?在用任何 AI 之前,更好的规则能否解决它们? 从数据开始。许多噪音问题用简单的办法就能解决。预期少数几条规则占了大部分噪音。追问:先修复这些,然后重新评估 AI 能增加什么。

如果这个工具在我们最近三次事件期间运行,它会告诉我们什么?那会有帮助吗? 重放或模拟。预期结果好坏参半。问问它会遗漏什么。追问:选择工具看起来最有希望的那类事件。

我们怎么知道工具抑制了一条真正的告警? 这个问题检验监督。预期会听到“我们不会知道”。追问:商定一份被抑制事态的日志、定期抽样,以及一条永远不抑制什么的规则。

自动行动出错时由谁负责?它的限度是什么? 指定一位负责人并列出被允许的行动。预期答案含糊。追问:写一份简短的、无需批准即可执行的行动清单,每项都有回滚。

在一次重大发布或流量变化之后,我们将如何检测模型已经漂移? 询问计划。预期没有。追问:选择指标,比如误报率,以及每次重大发布之后的评审日期。

值班人员希望这个工具做什么?什么会让他们不再信任它? 直接问他们。预期会得到关于上下文和误报的实际回答。追问:把答案转化为试用的验收标准。

实践:一个服务管理示例

一家国家气象局的运维团队在本地与云混合的系统上运行预报流水线和一个公共 API。值班人员每天收到约 300 条告警,大多来自少数几个嘈杂的来源。一家供应商提出一个具备自动关联和根因建议的 AIOps 平台。

运维负责人同意带条件地进行试点。第一,团队清理了 12 条最嘈杂的规则,这去掉了大约一半的数量。第二,团队让六个月的数据,包括 14 起事件,在建议模式下通过该平台重放。在重放中,平台对告警的分组做得很好:一起产生 80 条告警的平均事件,显示为三组。在 14 起事件中的 9 起,它正确地标出了第一个迹象,漏掉了三起,其第一个症状出现在日志中,并且对例行的夜间重新处理发出了误报,这种处理的规律它尚未学会。

团队在一条流水线上以建议模式部署了两个月,由值班人员把每条建议评为有用、中性或错误。约 55% 被评为有用,15% 错误,通常是在原因是一项未记录的近期变更的地方。随后允许该平台为分组后的事件自动开立工单,除此之外别无其他。团队每周评审被抑制的告警,在一次重大发布之后,发现模型对流量的基线已经不对,必须再训练。

变化在于:值班人员收到的告警少得多,分组也更好。仍然困难的是:平台的建议依赖准确的变更记录,而这些记录并不完整;它对新颖的故障帮助较小;供应商的定价随数据量增长,所以团队限制了摄入的内容。负责人计划只有在对漏报做进一步评审之后,才把试点扩大到另一条流水线。

四种视角

产品与交付团队

发出良好的遥测:一致的日志、带有服务标签的指标,以及部署和变更的记录。与运维团队分享设计知识,并帮助检查工具关于你的服务的建议。

服务与运维团队

把工具当作助手来用:为建议打分,评审被抑制的条目,并报告漏报。在简单规则奏效的地方保持简单,并保持对决策和行动的所有权。

领导层与治理

要求提供重放测试和试点的结果,而不是一场演示。为自动行动设定限度。为数据质量和培训出资。警惕关于完全自主运维的说法。

客户与用户

你应当注意到中断更少、更短,而不是问题向你沟通的方式发生变化。如果有一起事件在你察觉之前被漏掉了,告诉提供者。

敏捷、AI、自动化与分析

敏捷

在一项服务上试用,由值班人员频繁地提供反馈,然后分步扩大。每次事件之后评审漏报并调整。注意:不断地调整模型而不记录变更,会使行为难以预测;保留一份变更日志。

AI

这个工具本身就是一个 AI 系统,有负责人、测试数据和评审。像对待任何其他系统那样对待它:记录它可以做什么,监控它,并在更新后测试。注意:供应商可能在没有通知的情况下更改模型;询问他们如何宣布变更,并定期测试。见主题 5.6 — AI 治理、风险与合规。

自动化

把 AIOps 的输出连接到范围狭窄、经过测试的自动行动,比如创建工单、收集诊断信息和重启已知会出故障的进程,带有限制和日志。注意:基于不确定预测选择的自动行动可能使事件恶化;要求高置信度和回滚。见主题 6.6 — 运行手册自动化与自动修复。

分析

度量告警数量、有用的比例、误报、事件评审中发现的漏报、检测时间和诊断时间。注意:降低告警数量可以通过隐藏真正的告警来实现;始终对照事件和漏报进行比较。见主题 7.4 — 可观测性与遥测和《服务管理度量》一书。

常见失败模式

  • 购买一个承诺。 把供应商的演示当作证据。用你自己的数据,通过重放和试点来测试。
  • 数据不佳。 模型从不一致的日志和标签中学习。先修复数据。
  • 不经评审的抑制。 真正的告警被隐藏。记录并抽查被抑制的内容。
  • 不透明的建议。 响应人员无法评判。倾向于展示证据的工具。
  • 过早自动化。 错误的行动高速发生。从建议模式开始并限制行动。
  • 忽视模型漂移。 准确度悄悄下降。在变更后监控并再训练。
  • 复杂却没有收益。 一条简单的规则就够了。与简单方法作比较。

成熟度模型

维度 起步 发展 标准化 管理 协同
数据基础 不一致 收集了主要来源 一致、有标注且有负责人的遥测 度量并改进数据质量 数据在团队和供应商之间在治理下共享
AI 的使用 供应商的说法 在一项服务上试点 带有重放和反馈的建议性使用 度量并据此行动 AI 在监督下整合进整个运维
自动化 无 创建工单 有限制的、范围狭窄的、经批准的行动 评审并改进行动 在人的控制下,按风险扩大自动化
模型维护 无 临时调整 监控漂移和错误 再训练与变更挂钩 跨工具持续评估

检查清单

  • 我们为试点选择了一个具体的问题和一项度量。
  • 我们先用简单规则修复了最严重的告警噪音。
  • 我们用历史事件测试了工具,并统计了漏报和误报。
  • 我们将其与简单方法作了比较。
  • 输出可向响应人员解释。
  • 在允许任何行动之前,我们先以建议模式运行。
  • 自动行动范围狭窄、有日志、有速率限制,并且可逆。
  • 我们监控漂移并评审被抑制的告警。

AI 提示词

检查重放结果。

这是让 [数量] 起过往事件通过我们的 AIOps 工具重放的结果:每起事件的第一个真实症状、工具标记了什么以及何时标记、它建议了什么:[粘贴]。
请针对每起事件计算工具是否在第一次呼叫之前就标记了问题,并列出误报和漏报。总结数量,并指出数据不清楚的事件。不要对工具作总体评价。
请列出你不确定的事项。

评审被抑制的告警。

这是上周系统抑制或合并的告警的样本,附有细节:[粘贴样本]。
请针对每一条,说明细节显示它是噪音、另一条告警的重复,还是可能是真正的问题,并给出理由。标出你无法判断的。
请列出你不确定的事项。

为试点起草验收标准。

我们的服务:[描述]。我们当前的痛点:[描述,若已知则附数字]。我们的约束:[列表]。
请为一个为期两个月的 AIOps 工具试点起草验收标准:度量、我们应事先商定的阈值、什么会使我们停止,以及哪些自动行动是不允许的。不要把供应商的说法当作事实陈述。
请列出你不确定的事项。

AI 技能

主要来源

  • Betsy Beyer 等(编),Site Reliability Engineering(2016),关于监控分布式系统的章节,可在 sre.google 免费获取:AIOps 所依赖的基础。
  • PeopleCert, ITIL certification pages:所有者对监控与事态管理实践的描述。
  • Wikipedia, "AIOps" 和 "Anomaly detection":对这一术语和技术的概述。
  • Wikipedia, "Concept drift":模型随时间退化的主要原因。

参考文献

  1. AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
  2. Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
  3. Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
  4. Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
  5. Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
  6. Cluster analysis — Wikipedia — https://en.wikipedia.org/wiki/Cluster_analysis
  7. Precision and recall — Wikipedia — https://en.wikipedia.org/wiki/Precision_and_recall
  8. Type I and type II errors — Wikipedia — https://en.wikipedia.org/wiki/Type_I_and_type_II_errors
  9. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
  10. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
  11. Predictive maintenance — Wikipedia — https://en.wikipedia.org/wiki/Predictive_maintenance