为什么这很重要

多年来,构建软件和运行软件是分属不同团队、目标各异的两份工作。开发人员因变更而受到奖励,运维人员因稳定而受到奖励,两个群体在一次交接中相遇,而双方都觉得这很令人沮丧。发布被扔过墙去,事件又被扔回来,客户只能等待。

DevOps 在 2000 年代后期作为一种回应而出现。它的核心理念很简单:构建服务的人应当共同承担运行它的责任,运行服务的人应当帮助塑造它的构建方式。这种共同的责任,在自动化和快速反馈的支持下,使团队能够频繁发布并快速恢复。

对服务管理而言,DevOps 是一个重要的影响,有时也是摩擦的来源。ITIL 描述了变更赋能和事件管理等实践,而 DevOps 描述团队如何用流水线、共同值班和无责复盘来执行它们。把二者视为对立的组织最终会拥有并行的体系;把二者连接起来的组织则获得更快、证据更充分的控制措施。本主题解释这些理念,并说明它们如何与本指南的其余部分配合。

核心概念

DevOps 是什么。 这个词合并了“开发”(development)和“运维”(operations)。维基百科把它描述为整合软件开发与 IT 运维的一套实践,旨在缩短交付生命周期,并以高质量提供持续交付。它更像一场运动而不是一个框架:没有定义它的治理机构或单一的认证。

文化第一。 核心变化是文化上的:共同的目标、共同的责任,以及各角色之间的协作。采用了工具而没有采用文化的团队,只是换了个名字保留了旧的交接。一种常见的概括是“你构建它,你运行它”,这与亚马逊的 Werner Vogels 的一句话相关,意思是构建服务的团队要负责运行它。

三步工作法。 在小说《凤凰项目》(The Phoenix Project)及其后续手册中,Gene Kim 及合著者描述了三项原则:流动(加快工作从开发到运维再到客户的速度)、反馈(在每个阶段创建从右向左的快速反馈),以及持续学习与实验。他们把 DevOps 与精益思想联系起来;见主题 2.4 — 精益与改善和主题 2.3 — 流动与看板。

CALMS。 对这些要素的一个常用记忆法:文化(culture)、自动化(automation)、精益(lean)、度量(measurement)和分享(sharing)。它适合用作考察团队的检查清单,而不是成熟度评分。

实践。 典型的 DevOps 实践包括:一切都使用版本控制、持续集成与交付(见主题 2.2 — 持续交付)、基础设施即代码(见主题 6.3 — 基础设施即代码与 GitOps)、自动化测试、监控与可观测性(见主题 7.4 — 可观测性与遥测)、共同值班,以及对事件的无责复盘。

左移。 把测试和安全等检查移到生命周期的更早阶段,那里问题的修复成本更低。DevSecOps 把这一理念扩展到安全,将安全检查内建于流水线。维基百科对二者均有描述。

平台工程。 一种较新的实践,由一个团队构建并运行供其他团队用于构建、部署和运维服务的内部平台。目的是通过提供铺好的标准路径来减轻产品团队的负担。维基百科对平台工程有描述。需要小心:团队被强制使用却无法影响的平台,会变成另一道交接。

与 ITIL 的关系。 ITIL 4 承认 DevOps,并以可以用流水线控制措施来满足的方式描述其实践。二者回答不同的问题:DevOps 描述团队如何工作和自动化;ITIL 描述组织需要的实践,如事件、变更和服务级别管理。一个有用的概括是,DevOps 往往提供“如何做”,而 ITIL 提供“需要考虑什么”。见主题 1.2 — ITIL 和主题 2.9 — 敏捷服务管理。

与 SRE 的关系。 站点可靠性工程(SRE)是一门关于可靠性的工程学科,在 Google 发展起来;它与 DevOps 有共同的目标,使用服务级别目标和错误预算,并且常把运维视为软件问题。见主题 2.6 — 站点可靠性工程。

与敏捷的关系。 敏捷实践关注以小块方式、在干系人参与下交付可运行的软件;DevOps 把这一关切延伸到发布之后,进入对服务的运行和改进。二者有共同的价值观,如协作、快速反馈和持续改进。

常见的反对意见。 一些运维人员担心 DevOps 意味着裁员或取消控制措施;一些开发人员担心它意味着永久值班。这两种担心背后都有真实的案例。要通过关于工作负荷、支持以及保留哪些控制措施的明确约定,直接回应它们。

这些视角如何契合。 DevOps 是敏捷视角中的交付文化。AI 助手现在已是许多工具链的一部分,需要人工审查。自动化是核心。分析,包括交付和可靠性度量,闭合了反馈回路。

最佳实践

  1. 从共同的目标开始。 让开发与运维关心同一个结果,例如客户可见的可靠性和安全变更的速度。为每个群体分别设定目标会重新筑起那堵墙。
  2. 让团队对自己构建的东西负责。 让构建服务的团队参与运行它,并提供使之可持续的支持、培训和值班负荷上限。
  3. 自动化通往生产的路径。 使用每次都以同样方式构建、测试、扫描和部署并留有记录的流水线。见主题 6.4 — 流水线与自动化变更。
  4. 把一切放进版本控制。 代码、配置、基础设施定义和运行手册。这样变更就可评审、可追溯、可回退。
  5. 把检查左移。 在流水线早期增加单元测试、安全扫描和策略检查,并修复反复失败的原因。
  6. 观察生产环境,并分享所见。 让开发人员能够使用运维所使用的同一套监控,并一起评审。见主题 3.10 — 监控与事态管理。
  7. 无责地评审事件。 在重大事件之后召开评审,聚焦于系统,并跟踪行动项。见主题 3.3 — 问题管理。
  8. 提供平台,而不是强制。 如果你构建内部平台,把使用它的团队视为客户:询问他们需要什么,公布其路线图,并度量它是否有帮助。
  9. 保留控制措施,改变其运作方式。 在控制措施管理真实风险的地方,比如职责分离,保留它,并用自动化和记录而不是会议来满足它。
  10. 把交付和可靠性放在一起度量。 既看变更有多快、多频繁,也看变更多频繁地引发麻烦、恢复多快。用这些数字来学习,而不是给人排名。

与团队讨论的问题

构建与运行之间的交接在哪里?那里丢失了什么? 大多数组织都有一处或多处。询问双方:开发人员不了解运行服务的什么?运维人员不了解设计的什么?预期会有很长的清单。追问:选择一处交接去消除或缩小。

我们的服务夜间出故障时,谁会被叫起来?他们知道怎么修吗? 这个问题考察“你构建它,你运行它”在实践中的情形。回答从由开发人员值班,到知识有限的独立团队不等。询问工作负荷和所提供的培训。追问:商定一项改变,来改善知识或负荷。

我们有哪些控制措施是因过去的某次事件而存在的?流水线能否提供它们? 许多控制措施是继承而来的。问问每一项针对什么风险,什么证据能让负责人满意。追问:在负责人参与下,试行一项用流水线的替代方案。

我们的内部平台需要做到什么,我们才会自愿选择它? 这个问题检验平台思维。如果团队只是因为被告知才使用它,说明它没有为他们服务。问问他们今天用什么、为什么。追问:商定一组小规模的客户访谈。

我们如何评审事件?上一次事件之后改变了什么? 只有在后续有行动时,评审才有意义。询问上一次评审的行动项及其状态。预期有些仍未完成。追问:为仍然悬而未决的事项指定负责人和评审日期。

我们的工具链上如何使用 AI 编码或运维助手?由谁审查其输出? AI 助手可以编写代码、测试、配置和运行手册,也可以总结事件。问问每种用法由谁负责,哪些由人审查,什么会发现错误。追问:选择一种用法,在本月进行审计。

实践:一个服务管理示例

一家区域银行的零售数字团队构建一款移动应用,另有一个独立的运维组运行生产环境。发布每六周一次,有三天的冻结期。开发人员说运维阻碍变更;运维人员说开发人员发布未经测试的代码,然后把烂摊子留给他们。事件评审总是以关于谁的错的争执收场。

一位新的工程经理提出对一项服务做实验,即银行卡控制功能。一名开发人员和一名运维工程师加入同一个团队。他们商定了一个共同目标:客户可以在五秒钟内冻结和解冻银行卡,并且变更可以随时安全发布。他们把配置放入版本控制,在流水线中加入自动化测试和安全扫描,并商定整个团队共同承担值班轮换,由运维工程师培训开发人员,每人每六周值班不超过一周。银行的风险团队坚持保留职责分离;团队通过要求对每项变更进行同行评审并记录流水线证据来满足这一点。

六个月后,银行卡控制功能每周发布,事件很少,风险团队接受流水线记录来代替针对该服务的变更委员会会议。事件评审是无责的,两个重复出现的原因被修复。其他服务仍保留旧模式。

变化在于:这个团队不再等待六周的周期,并且对生产环境有了共同的认识。仍然困难的是:组织其他部分持怀疑态度,因为该团队每项服务的工程师比其他团队多;值班负担使两名开发人员考虑离职;共享流水线依赖一个积压很长的中央平台团队。经理把人员配置和平台问题提交给领导小组,而不是把这一结果当作模板来推广。

四种视角

产品与交付团队

端到端地拥有服务:设计、构建、发布和运行。了解运维如何运作,公平分担值班,并把可观测性和运行手册纳入完成定义。

服务与运维团队

分享你们对故障和恢复的了解,帮助构建流水线和监控,并走向对自己的工作进行工程化。保留重要的控制措施,并展示自动化如何满足它们。

领导层与治理

为开发与运维设定共同的目标,为平台和培训出资,并关注工作负荷和值班上限。不要按交付数字给团队排名。要求提供控制措施有效的证据。

客户与用户

你应该看到更快的修复,以及更小、更安全的变更。告诉团队什么最重要,并对扰乱了你的变更提供反馈。

敏捷、AI、自动化与分析

敏捷

DevOps 把敏捷对可运行软件的关切延伸到发布之后,进入对服务的运行和改进,干系人参与,反馈持续不断。注意:不要把它当作一次工具采购或一个新的团队名称;文化才是变化所在。

AI

AI 助手可以帮助编写代码、测试和基础设施定义,总结日志和事件,并起草运行手册,需要有负责人,并对任何进入生产环境的内容进行人工审查。注意:助手可能引入隐蔽的缺陷或不安全的模式;要应用与人工变更相同的流水线检查,并跟踪由 AI 辅助而失败的变更。见主题 5.4 — 面向事件、知识与变更的生成式 AI。

自动化

自动化通往生产的路径、环境创建、测试和常规运维,带有日志和回滚。注意:自动化把权力集中到了流水线,所以要控制对它的访问,并像评审服务的变更一样仔细地评审对流水线的变更。

分析

查看部署频率、变更前置时间、变更失败率和恢复时间,以及可靠性和客户度量。注意:交付度量很容易被钻空子,而在团队之间比较会忽略背景;用它们来发现该在哪里改进。见主题 7.3 — 度量与报告和《服务管理度量》一书。

常见失败模式

  • DevOps 团队变成新的孤岛。 一个小组拿走了这个名字,交接依然存在。把技能和责任分散到各个团队。
  • 有工具而无文化。 流水线建好了,责备依旧。着力于共同目标和评审实践。
  • 永久性的值班英雄主义。 开发人员精疲力竭。设定上限,分担负荷,并修复触发告警的原因。
  • 没人想要的强制平台。 团队绕开它。把团队视为客户,并衡量他们自愿使用的情况。
  • 放弃控制措施却不加替代。 风险上升,审计员提出异议。用自动化和记录来满足控制措施的目的。
  • 把交付数字当作目标。 团队会钻空子。把度量用于学习。
  • 直到最后才考虑安全。 发现来得太晚并阻碍发布。把检查左移。

成熟度模型

维度 起步 发展 标准化 管理 协同
文化 开发和运维目标各异 一个团队内有共同目标 共同的目标和责任被广泛采用 依据证据评审文化实践 在团队、供应商和合作伙伴之间共享
流水线 手工发布 自动化构建和测试 大多数服务有自动化的生产路径 流水线有负责人并像产品一样改进 流水线在整个组织中受治理并共享
运维 值班分开 一个团队内共同值班 有上限和支持的共同值班 度量值班负荷及其原因 运维在各服务之间工程化并自动化
学习 责备 偶尔评审 带有跟踪行动的无责评审 度量并分享学习 学习在团队之间并与供应商共享

检查清单

  • 开发和运维共同拥有可靠性与安全变更的目标。
  • 构建服务的团队在合理的值班上限内参与运行服务。
  • 所有改变服务的东西都在版本控制中,并经过流水线。
  • 安全和策略检查在流水线早期运行。
  • 开发人员可以看到生产监控。
  • 我们进行无责评审并跟踪行动项。
  • 重要的控制措施被保留,并通过自动化和记录来满足。
  • 工具链上的 AI 辅助有负责人并有人工审查。

AI 提示词

找出要消除的交接。

这是我们组织中一项变更从“代码完成”到“在生产环境运行”的过程描述:[粘贴步骤以及各步骤由谁负责]。
请列出每一处交接、跨越它传递的信息,以及可能丢失的内容。针对每处交接,给出两个可向两侧人员询问的问题。不要提出解决方案。
请列出你不确定的事项。

为无责评审总结一次事件。

下面是一次事件的时间线和笔记:[粘贴已去除姓名的时间线]。
请按以下标题起草一份中立的总结:发生了什么、如何被检测到、做了什么、什么起了帮助作用、什么拖慢了我们,以及评审的问题。不要归咎于人,也不要陈述笔记中没有的原因。
请列出你不确定的事项。

起草平台客户访谈提纲。

我们运行一个用于 [用途] 的内部平台。我们的用户是 [团队和角色]。
请写出十个开放式访谈问题,了解什么对他们有帮助、什么阻碍了他们,避免暗示答案的问题。再加上三件需要倾听的事。
请列出你不确定的事项。

AI 技能

  • postmortem:用于开展带有跟踪行动的无责评审。
  • shift-left-testing:用于把检查在流水线中前移。
  • on-call-rotation:用于设计可持续的值班安排。
  • runbook:用于把运维知识转化为简短而最新的运行手册。

主要来源

  • Gene Kim、Jez Humble、Patrick Debois 和 John Willis,The DevOps Handbook:原则与实践,附案例研究。
  • Gene Kim、Kevin Behr 和 George Spafford,The Phoenix Project:向许多读者介绍这些理念的小说。
  • DORA(dora.dev):关于交付和可靠性绩效的研究。
  • Wikipedia, "DevOps":对历史和实践的概述。

参考文献

  1. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  2. Phoenix Project — Wikipedia — https://en.wikipedia.org/wiki/Phoenix_Project
  3. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  4. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  5. Shift-left testing — Wikipedia — https://en.wikipedia.org/wiki/Shift-left_testing
  6. Platform engineering — Wikipedia — https://en.wikipedia.org/wiki/Platform_engineering
  7. Werner Vogels — Wikipedia — https://en.wikipedia.org/wiki/Werner_Vogels
  8. Conway's law — Wikipedia — https://en.wikipedia.org/wiki/Conway%27s_law
  9. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  10. DORA — DevOps Research and Assessment — https://dora.dev