运行手册自动化与自动修复
运行手册自动化把有文档、经测试的程序变成人或告警可以触发的代码,而自动修复则让监控信号无需真人就能触发它;只有对于被充分理解、可逆的行动,并带有限制、日志、手动停止,以及一位评审其触发频率的负责人时,两者才是安全的。
为什么这很重要
值班工作有固定的模式。一条告警触发。一位疲惫的工程师打开运行手册,按一系列步骤操作,重启某样东西,检查是否奏效,然后回去睡觉。一周后同样的告警又触发,同样的步骤又被执行一遍。到第十次时,有人会说:为什么要由人来做这件事?
他们是对的。手工重复一个已知的修复,缓慢、容易出错,并且腐蚀着做这件事的人。同样的步骤写成代码,几秒钟就能运行,每次方式相同,并留下记录。维基百科把运行手册(runbooks)描述为操作员执行的例行程序的汇编。使它们可执行,有时还使它们自行运行,就是从文档走向自动化的一步。
这一步也是个隐患。由人阅读的运行手册,每一步都要经过人的判断。代码则不然。一个错误的自动重启可能无限重复,或使一个健康的服务宕机,或掩盖一个更深层的问题,直到它严重得多。许多中断是被出于好意、却迅速做错事的修复延长或造成的。维基百科描述了自主计算(autonomic computing),即系统自我管理的长期目标,而实际的教训是,自主需要限制。
本主题描述如何谨慎地从文档走向脚本,再走向自动行动。它建立在知识管理(主题 3.9 — 知识管理)、监控(主题 3.10 — 监控与事态管理)、事件管理(主题 3.2 — 事件管理)和自动化策略(主题 6.1 — 自动化策略)之上。它与 AI 运维(主题 5.2 — AIOps)以及会采取行动的代理(主题 5.5 — 代理式 AI 与人工监督)相联系。
核心概念
运行手册(Runbook)。 针对特定的、反复出现的运维任务或情形的文档化程序。维基百科描述了运行手册。好的运行手册有触发条件、编号的步骤、预期结果、验证步骤和升级路径。见主题 3.9 — 知识管理。
运行手册自动化。 把运行手册实现为执行其部分或全部步骤的代码,通常由人从控制台或聊天命令触发,或由系统事态触发。它保留了运行手册的逻辑,并具有速度、一致性和记录的好处。
自动修复(auto-remediation)。 对告警或事态作出的自动纠正行动,无需真人启动。例子包括重启失败的进程、清理已满的临时目录、扩大工作池,或故障切换到备用系统。维基百科关于自主计算的文章把检测并纠正自身故障的系统描述为一项目标。在实践中,自动修复涵盖的是一小部分被充分理解的故障。
一个演进过程。 团队通常经历这些阶段:书面的运行手册;带有人来运行的脚本的运行手册;人用一条命令触发、脚本先收集检查结果的运行手册;告警提出行动并请求批准;以及告警在限度内独自运行行动。每个阶段都需要上一阶段的证据。对于有实际后果的行动,不要跳过阶段。
哪些适合自动行动。 常见、原因和修复都被充分理解、修复安全而可逆,并且症状能可靠地识别它的故障。例子是挂起的无状态工作进程,或会被填满的日志目录。糟糕的候选包括任何删除数据、更改访问权限或依赖对业务影响作判断的事情。
安全条件。 行动之前,检查情形是否确实匹配:告警是当前的,服务处于预期状态,没有部署或维护正在进行,行动也不是刚刚运行过。行动之后,核实结果。维基百科描述了演习(dry run),即展示将会发生什么却不真正执行的预演;它是新自动化的一种有用模式。
限制。 限制一个动作在一个时段内可以运行多少次、一次可以触及多少个实例,以及可以运行多久。维基百科描述了速率限制(rate limiting)。限制把失控变成有界的事件,超出限制应当叫来一个人。
断路器与退避。 如果一项自动行动反复失败或反复触发,就停下并升级,而不是无限重试。维基百科描述了断路器模式(circuit breaker pattern),其中反复失败会触发开关,在一段时间内停止进一步的尝试。在重试之间加入停顿和迟滞(hysteresis,维基百科有描述),以防止状态之间来回摆动。
幂等性。 可以安全重复的动作。维基百科描述了幂等性(idempotence)。当服务已经在重启时再重启,不应引起第二次重启风暴。设计先检查状态的动作。
看门狗与内置恢复。 平台提供自己的恢复机制:重启崩溃服务的进程监督器、替换失败实例的容器平台,以及重置挂起系统的看门狗定时器(watchdog timers,维基百科有描述)。在适合的地方,优先使用内置机制而不是自定义脚本,并了解它们做什么。
故障切换与伸缩。 自动故障切换到备用系统以及自动伸缩容量,是平台常提供的自动修复形式。维基百科描述了故障切换(failover)和自动伸缩(autoscaling)。它们同样需要测试和限制,因为它们可能使事情更糟:由短暂的小故障触发的故障切换,可能中断一个健康的服务。
掩盖问题。 悄悄修复故障的自动化,可能隐藏不断恶化的原因。如果一项服务每小时重启一次,这次重启就是一个需要修复的问题的症状。跟踪每项自动化的触发频率,把上升的频率视为需要调查的问题。见主题 3.3 — 问题管理。
日志、审计与通知。 每个自动行动都应记录是什么触发了它、它检查了什么、做了什么以及结果,并通知负责的团队。无声的自动化会侵蚀对系统的理解。维基百科描述了一般意义上的审计追踪(audit trails)。
测试。 在安全环境中针对现实的故障测试自动化,包括检查应当阻止行动的情形。维基百科描述了混沌工程(chaos engineering),即有意注入故障的做法,它也可以测试修复的行为是否正确。见主题 3.12 — 服务连续性管理。
所有权与评审。 每项自动化都有负责人,存放在带评审的版本控制中,并列入登记册。定期评审它触发的频率、是否成功,以及是否应当修复根本原因。
访问与安全。 修复工具对生产环境有权力。给它自己的身份,附带每个动作所需的狭窄权限,并保护代码和触发器免遭篡改。见主题 3.13 — 信息安全管理。
人的技能。 如果自动化处理了常规故障,人们可能失去对系统的感觉。保持运行手册可读,演练手工操作,并将自动化纳入演练日。见主题 6.1 — 自动化策略。
这些视角如何契合。 本主题是自动化视角在运维上的体现。敏捷实践建议小步沿着演进过程向上走,并在每次事件之后评审。AI 可以在本文所述的限制之内建议行动并选择运行手册。分析度量触发率、成功率和被掩盖的问题。
最佳实践
- 从一份好的运行手册开始。 先手工编写、测试并使用这个程序。对一个不奏效的程序做自动化,只会让它更快地出错。
- 谨慎选择候选项。 寻找频繁、被充分理解、安全、可逆且信号可靠的修复。按节省的值班时间和风险排序。
- 拾级而上。 随着证据的积累,从脚本到一条命令触发,到提出行动并等待批准,最后才到自动行动。在每一步记录决定。
- 前后都要检查。 核实情形匹配、没有冲突的活动正在进行,以及行动奏效。任何检查失败就停止并升级。
- 设定限制和断路器。 限制频率、范围和持续时间。如果一个动作触发过于频繁或失败两次,就停止并叫来一个人。
- 使动作幂等且可逆。 先检查状态,并写下退路。两者都测试。
- 记录、通知并使之可见。 记录每个自动行动,告知负责的团队,并在仪表板上显示触发率。
- 修复原因。 统计每项自动化触发的频率,当频率高或在上升时提出一个问题。把自动化视为通向修复的桥梁,而不是替代品。
- 在安全条件下测试。 用现实的故障和边缘情形,包括应当被拒绝的情形进行演练。将自动化纳入演练日。
- 拥有并评审。 指定负责人,把代码放在带评审的版本控制中,登记每项自动化,并每季度评审哪些保留、改变或淘汰。
与团队讨论的问题
我们每次都用同样的办法修复哪些告警?每次需要多长时间? 使用事件和告警数据。预期有少数几个占了大部分呼叫。追问:选择一个,检查它的运行手册是否准确。
如果这个修复在不该运行的时候运行了,可能出什么问题? 想象错误的触发或错误的目标。预期有几个令人不快的情形。追问:为每一个增加检查或限制。
我们怎么知道这个自动化正在掩盖一个不断增长的问题? 问问我们会看到什么。预期会听到“什么也看不到”。追问:商定统计触发次数,并设定提出问题的阈值。
单次运行可能造成的最大损害是什么?我们如何停止它? 指明范围。预期会有不确定。追问:设定上限并演练停止。
我们上一次手工做这项任务是什么时候?值班的每个人还会做吗? 问问上一次是什么时候。预期是很久以前。追问:安排一次演练。
AI 能在哪里提出或选择修复?什么仍必须由人批准? AI 可以把症状匹配到运行手册并建议行动。问问哪些行动需要批准,由谁决定。追问:选择一项试用,由 AI 提出、由人批准,并度量建议正确的频率。
实践:一个服务管理示例
一家国家铁路公司的乘客信息团队运行着 400 个车站的显示屏,由一项数据服务提供数据。大约每周两次,数据源处理器挂起,显示屏停在旧的时间上。值班工程师被呼叫,登录,确认进程已挂起,重启它,并确认更新。这需要大约 20 分钟,大多在夜间。
团队写下运行手册,并在两起事件中试用后作了改进:确认告警,检查没有部署正在进行,检查进程五分钟内没有写日志,重启,等待两分钟,检查输出的时间戳是当前的,并记下该事件。他们把它变成带演习模式的脚本,一名工程师用一条聊天命令触发它,持续一个月。它每次都成功。
然后他们以建议模式把它连接到告警:告警发布脚本的发现以及一个请求值班工程师批准的按钮。一个月后,每一次批准都是正确的,耗时不到两分钟。团队同意让它在严格的条件下自动运行:只有检查通过、每小时最多两次、绝不在部署期间,并且如果第二次重启没有解决就呼叫一个人。它记录每次运行并发布到团队频道。
最初两个月,该自动化触发了 19 次。评审显示,挂起更常发生在某个数据供应商深夜更新之后,团队在单独处理每次呼叫时并没有注意到这一点。他们向供应商提出了一个问题。在一次运行中,断路器在两次失败的重启后跳闸并呼叫了一名工程师,后者发现磁盘已满,这是运行手册没有涵盖的原因。
变化在于:工程师在大多数这类事态中能睡过去,显示屏在三分钟内恢复。仍然困难的是:供应商尚未修复数据格式;团队注意到新工程师从未做过手工程序,担心他们的技能;检查磁盘的额外步骤是在意外发生之后才加入的。负责人安排了每季度一次的手工演练,并把磁盘检查加入脚本。
四种视角
产品与交付团队
构建易于修复的服务:健康端点、安全重启、幂等操作和清晰的日志。随代码一起编写运行手册,并修复自动化所暴露的原因。
服务与运维团队
拥有运行手册和自动化:编写、测试、限制、记录并评审。保持手工技能的活力,并把频繁触发视为需要修复的问题。
领导层与治理
依据证据支持沿着演进过程向上走,并要求提供触发率和被掩盖问题的检查。为修复原因留出时间经费。对自愈系统的说法保持警惕。
客户与用户
你应当看到更快的恢复和更少可见的中断。如果某个自动修复没有奏效或造成了问题,告诉提供者,以便纠正规则。
敏捷、AI、自动化与分析
敏捷
在每次事件之后改进修复:完善运行手册、增加检查,或沿演进过程向上走一步。保持变更小并经过评审。注意:不要在糟糕的一夜之后成批地自动化;一次一个修复,并附测试。
AI
AI 可以把告警匹配到运行手册、建议步骤,并根据事件笔记起草新的运行手册,凡是会采取行动的都需要批准。指定负责人并度量建议的准确性。注意:从不寻常的告警中选择行动的 AI 可能选错;把它限制在一份经批准的行动清单内。见主题 5.5 — 代理式 AI 与人工监督。
自动化
本主题是自动化视角在运维中的体现:安全条件、限制、断路器、幂等性、日志和评审。注意:自动修复可能掩盖问题并使之更糟;统计触发次数,限制运行,失败时升级。见主题 6.1 — 自动化策略。
分析
跟踪每项自动化的触发率、成功率、恢复时间、避免的呼叫数、断路器跳闸次数,以及根据规律提出的问题。注意:避免的呼叫数很容易被夸大,也可能掩盖上升的触发率;要把二者放在一起跟踪。见主题 7.4 — 可观测性与遥测和《服务管理度量》一书。
常见失败模式
- 自动化一份未经测试的运行手册。 错误的修复以高速执行。先手工测试。
- 没有限制。 循环或误触发不断重复。限制运行次数并使用断路器。
- 隐藏的问题。 重启掩盖了原因。统计触发次数并修复原因。
- 行动前没有检查。 行动击中了健康或繁忙的系统。核实条件。
- 无声的自动化。 没人知道它做了什么。记录并通知。
- 技能退化。 没人能手工做。演练。
- 权限过大的工具。 一次被攻破就触及一切。使用狭窄的身份。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 运行手册 | 在脑海或电子邮件中 | 为主要告警编写 | 与告警链接的、经过测试的运行手册 | 事件之后评审运行手册质量 | 运行手册作为代码跨服务维护 |
| 自动化 | 无 | 由人触发的脚本 | 经批准、经测试并带有建议的行动 | 选定的行动带限制自动运行 | 在人的控制下按风险选择安全的行动 |
| 安全 | 无 | 基本日志 | 检查、限制、断路器和回滚 | 测试并审计安全 | 安全内建于共享平台 |
| 学习 | 救火 | 偶尔评审 | 跟踪触发率,并把原因作为问题提出 | 度量并减少复发 | 学习在团队和供应商之间共享 |
检查清单
- 运行手册在自动化之前经过编写、测试并手工使用。
- 每项自动化都有触发条件、前提条件、验证和升级。
- 动作是幂等且可逆的。
- 限制和断路器约束了频率和范围。
- 每次运行都被记录,负责的团队会收到通知。
- 我们跟踪每项自动化触发的频率,并根据规律提出问题。
- 自动化在版本控制中、经过评审并连同负责人登记在册。
- 我们演练手工操作,并用现实的故障测试自动化。
AI 提示词
把事件笔记变成运行手册草稿。
这是三起采用同样修复方法的事件的笔记:[粘贴,已去除个人数据]。
请起草一份运行手册,包含:触发条件、要检查的前提条件、带预期结果的编号步骤、验证、回滚和升级。只使用笔记中所说的;对未说明的内容写 [缺失]。
请列出你不确定的事项。
找出自动化的安全缺口。
这是对某个自动修复的描述:触发、检查、动作和限制:[粘贴]。
请列出下列各项中缺失或不清楚的:前提条件检查、行动后验证、速率限制、断路器、幂等性、回滚、日志、通知、负责人。对你认为已具备的各项引用原文。不要假设任何一项存在。
请列出你不确定的事项。
评审触发数据。
这是上个月每项自动化何时触发的日志,附有结果:[粘贴]。
请统计每项自动化的触发次数,列出在上升的或集中在一天中同一时间的,并列出用于查找原因的问题。不要猜测原因。
请列出你不确定的事项。
AI 技能
- runbook:用于在自动化之前编写和测试程序。
- chaos-testing:用于针对现实的故障测试修复。
- root-cause-analysis:用于找出自动化所掩盖的原因。
- on-call-rotation:用于设计可持续的值班安排。
- incident-response-plan:用于界定围绕自动化的角色和升级。
主要来源
- Betsy Beyer 等(编),Site Reliability Engineering(2016),关于消除繁琐工作(toil)和自动化的章节,可在 sre.google 免费获取。
- Lisanne Bainbridge,"Ironies of Automation"(Automatica,1983):为什么自动化会以出人意料的方式改变人的角色。
- Wikipedia, "Runbook" 和 "Autonomic computing":对这一文档和这一愿景的概述。
- Wikipedia, "Circuit breaker design pattern":用于停止反复失败的模式。
参考文献
- Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
- Autonomic computing — Wikipedia — https://en.wikipedia.org/wiki/Autonomic_computing
- Circuit breaker design pattern — Wikipedia — https://en.wikipedia.org/wiki/Circuit_breaker_design_pattern
- Watchdog timer — Wikipedia — https://en.wikipedia.org/wiki/Watchdog_timer
- Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
- Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
- Failover — Wikipedia — https://en.wikipedia.org/wiki/Failover
- Autoscaling — Wikipedia — https://en.wikipedia.org/wiki/Autoscaling
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Hysteresis — Wikipedia — https://en.wikipedia.org/wiki/Hysteresis
- Dry run (testing) — Wikipedia — https://en.wikipedia.org/wiki/Dry_run_(testing)
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/