为什么这很重要

上线日之所以令人紧张,是因为同时发生的事情太多。新代码被安装,新功能被打开,用户第一次见到它们,支持团队则从第一个投诉中得知这些变化。如果出了什么问题,所有这些纠缠在一起,唯一的退路可能是一次撤销一切的回滚。

把部署与发布分开的团队避免了大部分这类问题。代码悄悄地部署到生产环境,处于关闭状态,比用户看到它早上好几天。当团队准备好后,用一个开关先对一小部分人打开功能,再逐步扩大。如果出了问题,开关能在几秒钟内将其关闭。部署是一项技术行为,按工程师的时间表进行。发布是一项业务和客户行为,在组织准备好的时候进行。

本主题解释这两个理念、支持它们的技术,以及让用户、支持人员和审计员知情的实践。它建立在持续交付(主题 2.2 — 持续交付)和变更赋能(主题 3.4 — 变更赋能)之上,并与配置管理(主题 4.4 — 配置管理)和知识管理(主题 3.9 — 知识管理)相联系。

核心概念

部署。 把软件、配置或其他组件移动到某个环境(如测试环境或生产环境)的行为。维基百科关于软件部署(software deployment)的文章描述了其中涉及的活动。部署是一项技术操作,把某样东西放到它可以运行的地方。

发布。 使某项服务、功能或版本可供使用。发布可能与部署同时发生,也可能晚于部署。ITIL 4 把“发布管理”描述为使新的和变更后的服务与功能可供使用的实践,把“部署管理”描述为将组件移动到在线环境。

为什么要分开。 部署风险关乎代码能否运行、行为是否正确。发布风险关乎用户、支持和业务是否准备就绪。在不同的时间进行它们,使你可以让合适的人和工具来管理各自的风险。

功能开关。 也称 feature toggle,是代码或控制系统中的开关,可在运行时启用或禁用某项功能,无需新的部署。维基百科描述了功能开关及其用途。开关可以按用户、按群体、按流量百分比,或全局设置。它们需要小心对待:旧的开关会堆积起来,变成隐藏的复杂性。

分阶段推出。 先发布给一小部分人,再逐步扩大。变体包括先给内部用户、一小部分流量、单一地区或试点客户。每个阶段都在让更多人接触之前提供反馈。

蓝绿部署与滚动部署。 在蓝绿部署中,存在两套生产环境;一套为用户服务,另一套接收新版本,就绪时切换流量,需要时可快速切回。在滚动部署中,实例每次更新几个。维基百科对两者均有描述。各自在成本、复杂性和数据处理方面各有取舍。

发布就绪。 在发布前回答的一小组问题:测试是否通过;监控是否涵盖新行为;支持人员是否知道改变了什么以及如何提供帮助;文档和知识文章是否就绪;是否有回滚计划;业务方是否同意这个日期。保持简短,并与真实的风险挂钩。

发布说明。 对改变了什么的描述,写给需要知道的人。不同受众需要不同的说明:用户想知道什么是新的或有何不同;支持人员想知道会遇到什么;运维人员想知道技术上改变了什么。维基百科关于发布说明(release notes)和变更日志(changelog)的文章描述了常见形式。

版本编号。 一种命名版本的方案,使人们能够谈论它们。语义化版本(semantic versioning)是维基百科在软件版本编号(software versioning)条目下描述的一种流行方案,用主版本号、次版本号和补丁号来标示变更的种类。选择一种方案并一致地应用。

数据变更。 对数据库结构和数据的变更比代码变更更难撤销。诸如使变更向后兼容、让新旧结构并行运行、以小步骤迁移之类的模式,可以降低风险。维基百科描述了模式迁移(schema migration)。

热修复与补丁。 在正常周期之外进行的紧急修复,通常用于纠正严重的故障或漏洞。它们需要一条同样遵守纪律的加急路径:测试、评审、通过流水线部署并记录。见主题 3.4 — 变更赋能。

环境。 测试、预发布和生产环境,各有其用途。测试环境越接近生产环境,测试就越可靠。维基百科关于部署环境(deployment environment)的文章描述了常见的安排。

软件供应链。 发布包含来自其他方的组件,如库和容器镜像。软件物料清单列出这些组件,有助于应对漏洞。见主题 4.2 — 软件资产管理。

这些视角如何契合。 发布实践是敏捷视角在与用户接触点上的体现:带反馈的小型发布。AI 可以起草发布说明并总结变更,需要人工审查。自动化运行流水线和推出。分析显示一次发布的表现。

最佳实践

  1. 小步而频繁地部署。 把变更以小块放到生产环境,在有用时置于开关之后。频繁的部署使每一次都低风险且成为常规。
  2. 有意识地发布。 与业务方一起决定用户何时应当看到某项功能,并使用开关或分阶段推出来控制。不要让部署日程决定发布。
  3. 分阶段推出。 从一小群知情的人开始,观察指标,然后扩大。事先定义你要看什么,以及什么情况会使你停下来。
  4. 保持开关整洁。 记录每个开关的目的、负责人和移除日期。推出之后移除开关。开关存续期间,测试两种状态。
  5. 让退路迅速可用。 知道如何关闭开关、回滚或故障切换,并加以演练。对于数据变更,规划向前兼容的步骤。
  6. 在发布前准备好支持。 在用户看到变更之前,给服务台发布说明、一份简短的指南和已知问题。问问他们需要什么。
  7. 为读者编写发布说明。 用用户的措辞说明改变了什么、会有什么预期,以及去哪里获得帮助。把技术细节保留在单独的说明中。
  8. 简要地检查就绪情况。 对重大发布使用简短、一致的检查清单。对流水线已涵盖的常规发布则跳过。
  9. 观察发布。 在推出期间及之后监控错误率、性能和用户指标,并指派专人观察。记录你所看到的。
  10. 记录发布了什么。 保留版本、日期和开关状态的记录,这在事件和审计中很有用。尽可能从流水线生成。

与团队讨论的问题

在我们的组织中,部署与发布的区别是什么?各由谁决定? 在许多团队中,二者是同一件事。问问谁决定把代码放到生产环境,谁决定用户何时看到它。预期答案会含糊。追问:选择一项功能把二者分开。

如果新功能造成了伤害,我们能多快把它关掉? 检验这个答案。有些团队几秒钟内就能关掉一个开关;另一些则需要新的部署和审批。问问上一次是什么时候。追问:选择一项有风险的功能,规划一个快速关闭的开关。

在用户看到发布之前,我们的支持团队知道什么? 去问服务台。预期会得到“在接到第一个电话之前什么都不知道”。追问:商定一个标准的信息包以及时间,比如提前 48 小时。

我们有哪些功能开关?哪些应该被移除? 开关清单常常显示出许多没人记得的。问问每个由谁负责。追问:安排移除最老的几个,并增加一个负责人字段。

我们如何发布影响数据库的变更?如果需要退回会怎样? 数据变更造成最糟糕的意外。询问上一次迁移及其回滚计划。追问:商定一种模式,比如分两步进行的向后兼容的变更。

AI 能在哪里帮助处理发布说明或就绪检查?哪些必须由人来核实? AI 可以根据提交信息和工单起草说明。它可能误述改变了什么。问问谁来阅读草稿并与变更对照。追问:对内部说明试用 AI 草稿,由人逐份批准。

实践:一个服务管理示例

一家国家图书馆的在线目录被世界各地的研究人员使用。团队发布了重新设计的检索页面。以前,这样的变更会在某个周二晚上上线,并附一份简短的公告。这一次,服务负责人要求分阶段发布。

团队提前一周把新页面部署到生产环境,处于关闭状态。随后先对内部员工启用,第二天对随机选取的 5% 访问者启用。发布负责人观察检索成功率和错误计数,服务台在两天前收到了一页纸的指南和一份简短的已知问题清单。第三天,试点群体中的一位研究人员报告说,使用某些非英文字符的检索失败。团队在一分钟之内为所有用户关闭了开关,第二天上午修复了问题,并从 5% 重新开始推出。两周后,新页面向所有人开放,开关被安排移除。

变化在于:故障只影响了少数用户一天,支持台已做好应对问题的准备。仍然困难的是:开关系统位于一个访问控制不严的独立工具中,所以团队已要求进行评审;发布说明由开发人员撰写,研究人员觉得令人困惑;新旧两个检索页面并行维护花了约一周的精力。负责人在发布说明环节增加了一名面向用户的编辑。

四种视角

产品与交付团队

为部署与发布分开而设计:使用开关,使数据变更兼容,并规划退路。观察你自己的发布,并撰写用户和支持人员能理解的说明。

服务与运维团队

帮助定义就绪标准、监控和回滚。及早索取发布信息,并告诉开发人员你需要什么。保持对生产环境内容的记录准确。

领导层与治理

与业务方一起决定发布时机,而不是按部署日历。为流水线和开关工具出资。对高影响的功能要求分阶段推出,并避免不顾就绪程度而在固定日期发布的压力。

客户与用户

你应当以你能理解的措辞听到重要的变更,并且应当能轻松地报告问题。如果你参加抢先体验,期待被征求反馈,并告诉团队你所看到的情况。

敏捷、AI、自动化与分析

敏捷

小而频繁的发布,在早期阶段有真实用户参与,能提供快速反馈。把每次发布视为一个学习步骤,并调整下一次。注意:不要仅仅因为流水线能做到,就发布用户并不想要的功能;与用户一起检验价值。

AI

AI 可以根据变更和工单起草发布说明,总结推出之后的反馈,并建议应观察什么。指定负责人,并在发布前由人把草稿与变更对照。注意:看似合理但错误的发布说明会误导用户和支持人员;对照实际变更进行核对。见主题 5.4 — 面向事件、知识与变更的生成式 AI。

自动化

自动化部署、分阶段推出、健康检查、指标不佳时自动暂停,以及回滚,带有日志和手动覆盖。注意:因指标不佳而触发的自动推出规则可能误触发;要测试它们,并让有人知情。见主题 6.4 — 流水线与自动化变更。

分析

在推出期间,比较已发布群体与其他群体的指标,如错误、任务成功率和投诉。注意:小群体会给出有噪声的结果,不加小心地比较可能误导;商定你要看什么以及等待多久。见主题 7.3 — 度量与报告和《服务管理度量》一书。

常见失败模式

  • 发布与部署绑在一起。 每次上线都有风险。用开关和分阶段推出把它们分开。
  • 没人拥有的开关。 代码里充满了死路径。记录负责人和移除日期。
  • 没有快速退路。 糟糕的发布持续数小时。演练回滚和开关切换。
  • 支持人员从第一个电话得知消息。 服务台毫无准备。提前提供说明和指南。
  • 发布说明是写给开发人员的。 用户看不懂。为受众而写。
  • 数据变更未经规划。 回滚不可能。采用兼容的小步骤。
  • 什么也不观察。 问题是由用户发现的。指派观察者并设定指标。

成熟度模型

维度 起步 发展 标准化 管理 协同
部署与发布的分离 同一事件 使用了一些开关 对重大功能使用开关和分阶段推出 基于数据作推出决策 跨服务以护栏自动化推出
回滚 缓慢且手工 有文档 演练过的快速路径 度量恢复时间 自动并定期测试
沟通 上线时才公告 部分发布有说明 为各受众提供说明,提前向支持人员通报 与读者一起测试说明 沟通与流水线和渠道集成
记录 凭记忆和电子邮件 电子表格 从流水线生成 用于评审和审计 跨版本、开关和事件关联

检查清单

  • 对重大变更,我们把部署与发布分开。
  • 功能开关有负责人和移除日期。
  • 我们分阶段推出,并有明确的指标和停止标准。
  • 我们知道如何快速关闭或回滚,并且演练过。
  • 支持人员在用户之前收到发布信息。
  • 发布说明为其读者而写。
  • 数据变更以兼容、可逆的步骤进行。
  • 关于发布了什么的记录是从流水线生成的。

AI 提示词

起草供审阅的发布说明。

这是本次发布的变更:[粘贴变更清单及工单标题]。受众是 [用户、支持人员或运维人员]。
请起草一份不超过 200 字的通俗发布说明,按用户会注意到的内容分组,并列出你在不猜测的情况下无法描述的条目。不要添加清单中没有的功能或日期。
请列出你不确定的事项。

准备发布就绪检查清单。

我们的发布:[描述]。我们知道的风险:[列表]。我们通常的检查:[列表]。
请起草一份最多十个是/否问题的检查清单,用于发布前回答,并注明每项由谁回答。保持简短,并与所列的风险挂钩。
请列出你不确定的事项。

规划分阶段推出。

我们的功能:[描述]。我们的用户:[群体及规模]。我们能度量的指标:[列表]。
请提出三个阶段,说明各阶段的受众、观察什么、持续多久,以及什么情况会使我们停下。指出这些指标无法告诉我们什么。不要声称任何阶段是安全的。
请列出你不确定的事项。

AI 技能

主要来源

  • Jez Humble 和 David Farley,Continuous Delivery(2010):部署流水线和发布技术的基础。
  • PeopleCert, ITIL certification pages:所有者对发布与部署管理实践的描述。
  • Wikipedia, "Software deployment" 和 "Feature toggle":对主要理念的概述。
  • Wikipedia, "Release management":这一学科的背景。

参考文献

  1. Release management — Wikipedia — https://en.wikipedia.org/wiki/Release_management
  2. Software deployment — Wikipedia — https://en.wikipedia.org/wiki/Software_deployment
  3. Software release life cycle — Wikipedia — https://en.wikipedia.org/wiki/Software_release_life_cycle
  4. Feature toggle — Wikipedia — https://en.wikipedia.org/wiki/Feature_toggle
  5. Blue–green deployment — Wikipedia — https://en.wikipedia.org/wiki/Blue%E2%80%93green_deployment
  6. Release notes — Wikipedia — https://en.wikipedia.org/wiki/Release_notes
  7. Changelog — Wikipedia — https://en.wikipedia.org/wiki/Changelog
  8. Software versioning — Wikipedia — https://en.wikipedia.org/wiki/Software_versioning
  9. Schema migration — Wikipedia — https://en.wikipedia.org/wiki/Schema_migration
  10. Deployment environment — Wikipedia — https://en.wikipedia.org/wiki/Deployment_environment
  11. Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery