自动化策略
自动化策略决定自动化什么、不自动化什么、按什么顺序、采用什么控制措施;它遵循 ITIL 的“优化并自动化”原则:先简化,再用日志和回滚自动化稳定而重复的工作,并把每项自动化当作需要负责人和维护的产品。
为什么这很重要
自动化是技术运维中最古老的杠杆,也是最常在没有计划的情况下被拉动的一个。有人写了个脚本,省下一小时,它奏效了。另一个人又写了一个。两年之内,一个团队就有了数百个脚本、定时作业和工作流规则,写它们的人已经离开,没有人理解它们,而一切都依赖着它们。其中一个悄悄地失败,就让一项服务宕机,团队通过发现什么停了才知道自己自动化了什么。
相反的错误也很常见。一个团队设定“自动化 80% 的任务”的目标,结果把一年只发生两次的、依赖判断的、或每月都在变的事情自动化了。这些投入永远收不回来,而自动化却要永远维护。与此同时,那些本可以获得十倍回报的工作仍然是手工的,因为它们枯燥,也没有人问起。
策略可以避免两者。它依据回报的证据来选择自动化什么,安排工作的顺序,使简化先于编写脚本,并把结果视为需要拥有和维护的东西。它还要面对一项真实的人的代价:当机器处理常规工作时,留给人们的是困难的例外情况,以及更少练习基础技能的机会。本主题阐述这些选择。它是第 6 部分的入口,并与工作流自动化(主题 6.2 — 工作流自动化与编排)、基础设施即代码(主题 6.3 — 基础设施即代码与 GitOps)、流水线(主题 6.4 — 流水线与自动化变更)、自助服务(主题 6.5 — 自助服务与自动化履行)以及运行手册自动化(主题 6.6 — 运行手册自动化与自动修复)相关。它与 AI 的联系见主题 5.1 — 服务管理中的 AI。
核心概念
自动化。 用技术在减少人为参与的情况下执行任务。维基百科广泛描述了整个行业的自动化(automation)。在服务管理中,它的范围从定时脚本,到跨工具的工作流,再到会决策并行动的系统。这个词涵盖的东西差别很大,所以在每次讨论中都要说明是哪一种。
先优化,后自动化。 ITIL 4 的指导原则“优化并自动化”说,要先确保工作尽可能有效,然后用技术做得更多(见主题 1.5 — ITIL 指导原则)。这个顺序是有意为之。自动化一个混乱或浪费的流程,会把它的混乱和浪费原地固定下来,并使之更难改变。精益思想得出相同的看法(见主题 2.4 — 精益与改善)。
什么样的任务是好的候选。 寻找频繁、被充分理解、基于规则、手工做时容易出错且稳定的工作。维基百科对业务流程自动化(business process automation)和机器人流程自动化(RPA)的描述给出了常见的目标,比如在系统之间移动数据。糟糕的候选是罕见的、变化的、含糊的,或依赖判断或同理心的。
自动化的回报。 一条粗略的规则是,把每年节省的时间,加上更少错误和更快响应的价值,与构建、运行和维护自动化的成本作比较。维基百科描述了投资回报率和成本效益分析(cost–benefit analysis)。要包括维护:当周围的系统变化时,自动化就会坏掉。说明假设和区间,因为这些数字是估计值。
去哪里找。 从数据开始。维基百科描述的流程挖掘(process mining)利用事件日志展示工作实际是如何流转的。工单和请求数据显示哪些任务反复出现。问问做这项工作的人,什么让他们厌烦或沮丧。帕累托原则表明,少数几类任务占了大部分数量。
自动化的等级。 从手工,到辅助(工具准备,人来行动),到有条件(系统行动,人批准),再到在限度内自主。根据出错的代价和撤销的能力,为每项任务选择等级。见主题 5.5 — 代理式 AI 与人工监督。
控制措施。 每项自动化都需要一份记录它做了什么、何时做的日志,对它能触及什么的限制,停止它的办法,以及逆转其影响的办法。维基百科描述了故障安全(fail-safe)设计:系统失效时,应当以造成最小伤害的方式失效。见主题 3.4 — 变更赋能。
自动化即产品。 自动化有用户、负责人、待办事项列表、文档、测试和生命周期。没有负责人,它会衰败。维基百科关于技术债务(technical debt)的文章同样适用:匆忙写就、从未维护的脚本会变成负债。见主题 2.8 — 产品与服务所有权。
标准程序优先。 一份书面的、经过测试的程序,比如运行手册或标准操作程序(standard operating procedure,维基百科有描述),是自动化的最佳规格说明。如果你写不出这个人做了什么,你就还没有准备好将其自动化。见主题 3.9 — 知识管理。
工具与平台。 选项范围从 shell 脚本和 cron 等调度器,到工作流和编排平台,再到 RPA 和低代码平台。维基百科对各类均有描述。选择可维护的最简单的工具,并倾向于内建版本控制、测试和审计的工具。见主题 6.2 — 工作流自动化与编排。
技能与自动化的讽刺。 在一篇 1983 年的著名论文中,研究者 Lisanne Bainbridge 描述了自动化的讽刺(ironies of automation):当自动化处理了任务的大部分时,留给人的是困难、罕见的情形,而他的练习更少,对系统的感觉也更少。维基百科描述了这篇论文。实际的教训是:让人们保持练习,向他们展示自动化做了什么,并设计交接,使人能够介入。
巴士系数与知识。 自动化可能把知识集中在作者身上。维基百科描述了巴士系数(bus factor)。评审、记录并分享,使不止一个人能维护每项自动化。
安全。 自动化持有凭据,拥有权力。被攻破的自动化是诱人的目标。给每个自动化自己的身份和最低限度的权限,安全地存放机密,并审查访问权限。见主题 3.13 — 信息安全管理。
人与信任。 员工可能担心自动化威胁他们的工作,或担心它会被归咎于失败。让他们参与选择自动化什么,说明节省下来的时间将如何使用,并认可构建和维护自动化的工作。见主题 8.3 — 组织变革与采纳。
这些视角如何契合。 自动化是第三个视角。敏捷实践建议小步自动化,并从每一步中学习。AI 增添了一种决策和起草的办法;自动化负责行动。分析识别候选项,并显示自动化是否兑现了承诺。
最佳实践
- 从数据和痛点出发。 查看工单和请求的数量、可用时的流程挖掘,以及员工觉得乏味的事。依据证据而不是时髦来选择。
- 先简化。 在编写脚本之前,先去掉没有增加价值的步骤和审批。问问如果重新开始,这个流程会是什么样。
- 把程序写下来。 记录步骤、输入、输出和例外。让别人照着做,来测试这个程序。把它用作规格说明。
- 诚实地估计回报。 用区间把节省的时间与构建和维护的成本作比较。在重要之处,计入错误的减少和速度。放弃那些收不回本的候选项。
- 小步自动化。 从一个部分开始,比如为人收集数据,然后扩展。经常发布并学习。
- 按风险选择自主程度。 让低风险可逆的任务带着日志独立运行,对有后果或不可逆的任务让人保持在回路中。
- 内建日志、限制和回滚。 记录每个动作,限制一次运行能改变多少,并写下退路。加以测试。
- 为每项自动化指定负责人和归属。 把代码放在带评审和测试的版本控制中,记录下来,并在登记册中列出其负责人以及依赖它的东西。
- 让技能保持活力。 向人们展示自动化做了什么,为重要任务演练手工的后备方案,并让人们轮流处理困难的案例。
- 评审并淘汰。 定期检查哪些自动化在被使用、哪些失败,修复或移除它们,并对照估计衡量收益。
与团队讨论的问题
我们最常重复哪些任务?最希望再也不用做哪些? 询问每个人。预期有账户设置、报告和数据修复。追问:选三项并估算每月的小时数。
对我们的首要候选,如果在自动化之前先简化,流程会是什么样? 画出来。预期有没人能说出理由的步骤。追问:在写任何代码之前,先去掉一个。
我们已经依赖了哪些自动化?每项由谁负责?如果其中一个悄悄失败会怎样? 列出清单。预期会有意外和孤儿。追问:指定负责人并增加一道针对失败的检查。
我们的哪些任务应当保持手工,因为它们需要判断或同理心? 展开讨论。预期在敏感事务上意见一致,在边缘上有分歧。追问:写下界限以及谁可以改变它。
如果自动化不可用,我们将如何保持手工完成任务的技能? 问问上一次有人手工做是什么时候。预期很久以前。追问:规划一次定期演练。
我们将如何使用自动化腾出的时间?我们告诉团队了吗? 这能建立信任。预期会有不确定和一些恐惧。追问:商定节省的时间将用在哪里,并公开说明。
实践:一个服务管理示例
一个国家出生、死亡和婚姻登记处有一个十人的小型 IT 团队,支持 600 名员工。一位经理提议“尽可能自动化一切”,并列出了 120 项候选任务。服务负责人怀疑其中大多数收不回本,要求对它们排序。
团队花了两周时间收集数据。他们从六个月的工单中发现,70% 的数量落在八类任务中,以新员工账户、密码重置、共享邮箱变更和每月报告制作为首。他们估算了每一项每月的小时数,并询问相关人员出了什么问题。新员工账户每月 40 小时,涉及十一个手工步骤,其中三个是重复的,两个是从未被拒绝过的审批。他们在写任何东西之前先简化到八步。
他们分阶段自动化。首先,一个脚本收集信息并创建账户,由技术人员评审结果。经过两个月无错误的运行后,该脚本对标准岗位无人值守地运行,带有日志和每日检查,非标准岗位则由技术人员处理。密码重置转到身份系统由供应商提供的自助服务途径。每月报告耗时 12 小时,依赖来自三个系统、格式各异的数据,团队决定在数据源修复之前不将其自动化。
每项自动化都登记在册,有负责人、代码仓库和回滚办法。一名技术人员被指派每季度轮流进行手工处理,以保持这项技能。经理同意节省的时间将用于积压的过期升级工作,并在团队会议上说明了这一点。
变化在于:每月约 70 小时被腾出,新员工第一天就有可用的账户。仍然困难的是:每当目录结构变化时,脚本就必须更新,第一个季度发生了两次;只有两名技术人员理解它;经理仍在问为什么另外 110 项候选没有做。负责人展示了数据,并同意每半年重新审视一次清单。
四种视角
产品与交付团队
为自动化而构建:暴露清晰的接口,避免在发布和部署中出现手工步骤,并提供别人可以写成脚本的运行手册。对你创建的自动化负责。
服务与运维团队
了解你反复进行的任务,简化它们,并用日志和回滚把其中稳定的自动化。保持手工技能的活力,并将你自动化的东西连同负责人登记在册。
领导层与治理
要求提供回报和控制措施的证据,而不是自动化的数量。说明节省的时间将如何使用。为维护和技能出资,而不只是为构建出资。
客户与用户
你受益于更快、更一致的服务,而且对于例外情况你仍应能联系到真人。告诉提供者自动化在哪里没能处理你的情况。
敏捷、AI、自动化与分析
敏捷
与做这项工作的人一起,小步增量地自动化,并评审结果。把自动化待办事项列表作为改进待办事项列表的一部分。注意:交付自动化的速度可能超过维护它们的能力;限制在制品数量,并淘汰旧的。
AI
AI 可以通过对任务聚类来帮助发现候选项,起草脚本和程序,并在限度内决定怎么做。每项由 AI 辅助的自动化都需要同样的负责人、测试和控制措施。注意:生成的脚本可能含有错误或不安全的模式;像评审任何其他代码一样评审和测试它们。见主题 5.1 — 服务管理中的 AI。
自动化
本主题就是这个视角本身:选择、简化、带控制措施地构建、拥有和评审。注意:自动化集中权力并隐藏复杂性;保持日志可读,并给予人们理解和停止它的手段。
分析
使用工单数据、流程挖掘、时间和错误数据,以及自动化之后的结果。注意:节省小时数的估计往往被夸大,“自动化的数量”之类的度量会奖励数量;要跟踪实际腾出的时间、错误和失败。见主题 7.6 — 流程与价值流分析和《服务管理度量》一书。
常见失败模式
- 把一团乱麻自动化。 混乱被保留下来。先简化。
- 按指标自动化。 任务是为凑数量而选。依据回报和需要来选择。
- 孤儿脚本。 没人拥有或理解它们。登记、指定负责人并评审。
- 没有日志或回滚。 失败无法被追踪或撤销。两者都内建。
- 技能退化。 没人能手工完成任务。演练并轮岗。
- 隐藏的维护成本。 每当附近有变更,自动化就会坏。把维护计入回报。
- 恐惧与保密。 员工抵制。让他们参与,并说明收益将如何使用。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 选择 | 临时脚本 | 列出候选项 | 依据数据和回报选择候选项 | 将结果与估计作比较 | 依据价值和风险选择并重新平衡组合 |
| 控制措施 | 无 | 一些日志 | 日志、限制和回滚成为标准 | 测试并审计控制措施 | 控制措施内建于共享平台 |
| 所有权 | 个人 | 作者已知 | 带负责人、版本控制和评审的登记册 | 跟踪维护和失败 | 所有权在团队之间协调 |
| 人员 | 恐惧或忽视 | 有意识 | 技能保持活力,收益共享 | 评审技能和工作负荷 | 在整个组织内随自动化规划角色和技能 |
检查清单
- 我们依据关于数量、错误和投入的数据选择候选项。
- 我们在自动化每个流程之前先简化了它。
- 每项自动化都遵循书面的、经过测试的程序。
- 我们估计的回报包括维护。
- 每项自动化都有负责人、版本控制和登记册条目。
- 日志、限制和回滚已内建并经过测试。
- 我们为重要任务保持手工技能的活力。
- 我们告诉了团队节省的时间将如何使用。
AI 提示词
根据工单数据对候选项排序。
这是工单类别的摘要,附有每月数量和平均处理时间:[粘贴]。
请计算每个类别每月的小时数,排序,并针对前八项列出向自己提出的问题:该任务是否稳定、基于规则且可以安全地自动化。不要建议自动化任何一项。
请列出你不确定的事项。
根据程序起草规格说明。
这是某项任务的书面程序:[粘贴]。
请列出输入、步骤、决策点、输出和例外,并将每个步骤标为“清楚”、“需要判断”或“不清楚”。列出自动化之前要回答的问题。不要写代码。
请列出你不确定的事项。
评审自动化的控制措施。
这是对某项自动化的描述:它做什么、能更改什么、谁负责、如何运行:[粘贴]。
请从这组控制措施中列出缺失的项:日志、限制、回滚、停止开关、负责人、权限、测试和失败告警,并为你认为已具备的各项引用描述。不要假设描述中没有说明的控制措施。
请列出你不确定的事项。
AI 技能
- workflow-analysis:用于在自动化之前分析步骤和等待。
- roi-analysis:用于估计自动化的回报。
- runbook:用于编写成为规格说明的程序。
- kaizen:用于在自动化之前先简化。
- value-stream-map:用于找出值得自动化的步骤。
主要来源
- PeopleCert, ITIL certification pages:所有者对 ITIL 指南的描述,包括优化并自动化。
- Lisanne Bainbridge,"Ironies of Automation"(Automatica,1983):关于自动化与人的技能的经典论文。
- Betsy Beyer 等(编),Site Reliability Engineering(2016),关于消除繁琐工作(toil)的章节,可在 sre.google 免费获取。
- Wikipedia, "Automation" 和 "Business process automation":对这些理念的概述。
参考文献
- Automation — Wikipedia — https://en.wikipedia.org/wiki/Automation
- Business process automation — Wikipedia — https://en.wikipedia.org/wiki/Business_process_automation
- Robotic process automation — Wikipedia — https://en.wikipedia.org/wiki/Robotic_process_automation
- Ironies of Automation — Wikipedia — https://en.wikipedia.org/wiki/Ironies_of_Automation
- Process mining — Wikipedia — https://en.wikipedia.org/wiki/Process_mining
- Return on investment — Wikipedia — https://en.wikipedia.org/wiki/Return_on_investment
- Cost–benefit analysis — Wikipedia — https://en.wikipedia.org/wiki/Cost%E2%80%93benefit_analysis
- Technical debt — Wikipedia — https://en.wikipedia.org/wiki/Technical_debt
- Standard operating procedure — Wikipedia — https://en.wikipedia.org/wiki/Standard_operating_procedure
- Fail-safe — Wikipedia — https://en.wikipedia.org/wiki/Fail-safe
- Bus factor — Wikipedia — https://en.wikipedia.org/wiki/Bus_factor
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/