发布与部署管理
发布与部署管理把过去合二为一的两项决策分开:新代码何时被放到生产系统上(部署),以及它的行为何时向用户开放(发布);借助功能开关、分阶段推出和清晰的发布说明把二者分开,能让变更更安全、更平静。
为什么这很重要
上线日之所以令人紧张,是因为同时发生的事情太多。新代码被安装,新功能被打开,用户第一次见到它们,支持团队则从第一个投诉中得知这些变化。如果出了什么问题,所有这些纠缠在一起,唯一的退路可能是一次撤销一切的回滚。
把部署与发布分开的团队避免了大部分这类问题。代码悄悄地部署到生产环境,处于关闭状态,比用户看到它早上好几天。当团队准备好后,用一个开关先对一小部分人打开功能,再逐步扩大。如果出了问题,开关能在几秒钟内将其关闭。部署是一项技术行为,按工程师的时间表进行。发布是一项业务和客户行为,在组织准备好的时候进行。
本主题解释这两个理念、支持它们的技术,以及让用户、支持人员和审计员知情的实践。它建立在持续交付(主题 2.2 — 持续交付)和变更赋能(主题 3.4 — 变更赋能)之上,并与配置管理(主题 4.4 — 配置管理)和知识管理(主题 3.9 — 知识管理)相联系。
核心概念
部署。 把软件、配置或其他组件移动到某个环境(如测试环境或生产环境)的行为。维基百科关于软件部署(software deployment)的文章描述了其中涉及的活动。部署是一项技术操作,把某样东西放到它可以运行的地方。
发布。 使某项服务、功能或版本可供使用。发布可能与部署同时发生,也可能晚于部署。ITIL 4 把“发布管理”描述为使新的和变更后的服务与功能可供使用的实践,把“部署管理”描述为将组件移动到在线环境。
为什么要分开。 部署风险关乎代码能否运行、行为是否正确。发布风险关乎用户、支持和业务是否准备就绪。在不同的时间进行它们,使你可以让合适的人和工具来管理各自的风险。
功能开关。 也称 feature toggle,是代码或控制系统中的开关,可在运行时启用或禁用某项功能,无需新的部署。维基百科描述了功能开关及其用途。开关可以按用户、按群体、按流量百分比,或全局设置。它们需要小心对待:旧的开关会堆积起来,变成隐藏的复杂性。
分阶段推出。 先发布给一小部分人,再逐步扩大。变体包括先给内部用户、一小部分流量、单一地区或试点客户。每个阶段都在让更多人接触之前提供反馈。
蓝绿部署与滚动部署。 在蓝绿部署中,存在两套生产环境;一套为用户服务,另一套接收新版本,就绪时切换流量,需要时可快速切回。在滚动部署中,实例每次更新几个。维基百科对两者均有描述。各自在成本、复杂性和数据处理方面各有取舍。
发布就绪。 在发布前回答的一小组问题:测试是否通过;监控是否涵盖新行为;支持人员是否知道改变了什么以及如何提供帮助;文档和知识文章是否就绪;是否有回滚计划;业务方是否同意这个日期。保持简短,并与真实的风险挂钩。
发布说明。 对改变了什么的描述,写给需要知道的人。不同受众需要不同的说明:用户想知道什么是新的或有何不同;支持人员想知道会遇到什么;运维人员想知道技术上改变了什么。维基百科关于发布说明(release notes)和变更日志(changelog)的文章描述了常见形式。
版本编号。 一种命名版本的方案,使人们能够谈论它们。语义化版本(semantic versioning)是维基百科在软件版本编号(software versioning)条目下描述的一种流行方案,用主版本号、次版本号和补丁号来标示变更的种类。选择一种方案并一致地应用。
数据变更。 对数据库结构和数据的变更比代码变更更难撤销。诸如使变更向后兼容、让新旧结构并行运行、以小步骤迁移之类的模式,可以降低风险。维基百科描述了模式迁移(schema migration)。
热修复与补丁。 在正常周期之外进行的紧急修复,通常用于纠正严重的故障或漏洞。它们需要一条同样遵守纪律的加急路径:测试、评审、通过流水线部署并记录。见主题 3.4 — 变更赋能。
环境。 测试、预发布和生产环境,各有其用途。测试环境越接近生产环境,测试就越可靠。维基百科关于部署环境(deployment environment)的文章描述了常见的安排。
软件供应链。 发布包含来自其他方的组件,如库和容器镜像。软件物料清单列出这些组件,有助于应对漏洞。见主题 4.2 — 软件资产管理。
这些视角如何契合。 发布实践是敏捷视角在与用户接触点上的体现:带反馈的小型发布。AI 可以起草发布说明并总结变更,需要人工审查。自动化运行流水线和推出。分析显示一次发布的表现。
最佳实践
- 小步而频繁地部署。 把变更以小块放到生产环境,在有用时置于开关之后。频繁的部署使每一次都低风险且成为常规。
- 有意识地发布。 与业务方一起决定用户何时应当看到某项功能,并使用开关或分阶段推出来控制。不要让部署日程决定发布。
- 分阶段推出。 从一小群知情的人开始,观察指标,然后扩大。事先定义你要看什么,以及什么情况会使你停下来。
- 保持开关整洁。 记录每个开关的目的、负责人和移除日期。推出之后移除开关。开关存续期间,测试两种状态。
- 让退路迅速可用。 知道如何关闭开关、回滚或故障切换,并加以演练。对于数据变更,规划向前兼容的步骤。
- 在发布前准备好支持。 在用户看到变更之前,给服务台发布说明、一份简短的指南和已知问题。问问他们需要什么。
- 为读者编写发布说明。 用用户的措辞说明改变了什么、会有什么预期,以及去哪里获得帮助。把技术细节保留在单独的说明中。
- 简要地检查就绪情况。 对重大发布使用简短、一致的检查清单。对流水线已涵盖的常规发布则跳过。
- 观察发布。 在推出期间及之后监控错误率、性能和用户指标,并指派专人观察。记录你所看到的。
- 记录发布了什么。 保留版本、日期和开关状态的记录,这在事件和审计中很有用。尽可能从流水线生成。
与团队讨论的问题
在我们的组织中,部署与发布的区别是什么?各由谁决定? 在许多团队中,二者是同一件事。问问谁决定把代码放到生产环境,谁决定用户何时看到它。预期答案会含糊。追问:选择一项功能把二者分开。
如果新功能造成了伤害,我们能多快把它关掉? 检验这个答案。有些团队几秒钟内就能关掉一个开关;另一些则需要新的部署和审批。问问上一次是什么时候。追问:选择一项有风险的功能,规划一个快速关闭的开关。
在用户看到发布之前,我们的支持团队知道什么? 去问服务台。预期会得到“在接到第一个电话之前什么都不知道”。追问:商定一个标准的信息包以及时间,比如提前 48 小时。
我们有哪些功能开关?哪些应该被移除? 开关清单常常显示出许多没人记得的。问问每个由谁负责。追问:安排移除最老的几个,并增加一个负责人字段。
我们如何发布影响数据库的变更?如果需要退回会怎样? 数据变更造成最糟糕的意外。询问上一次迁移及其回滚计划。追问:商定一种模式,比如分两步进行的向后兼容的变更。
AI 能在哪里帮助处理发布说明或就绪检查?哪些必须由人来核实? AI 可以根据提交信息和工单起草说明。它可能误述改变了什么。问问谁来阅读草稿并与变更对照。追问:对内部说明试用 AI 草稿,由人逐份批准。
实践:一个服务管理示例
一家国家图书馆的在线目录被世界各地的研究人员使用。团队发布了重新设计的检索页面。以前,这样的变更会在某个周二晚上上线,并附一份简短的公告。这一次,服务负责人要求分阶段发布。
团队提前一周把新页面部署到生产环境,处于关闭状态。随后先对内部员工启用,第二天对随机选取的 5% 访问者启用。发布负责人观察检索成功率和错误计数,服务台在两天前收到了一页纸的指南和一份简短的已知问题清单。第三天,试点群体中的一位研究人员报告说,使用某些非英文字符的检索失败。团队在一分钟之内为所有用户关闭了开关,第二天上午修复了问题,并从 5% 重新开始推出。两周后,新页面向所有人开放,开关被安排移除。
变化在于:故障只影响了少数用户一天,支持台已做好应对问题的准备。仍然困难的是:开关系统位于一个访问控制不严的独立工具中,所以团队已要求进行评审;发布说明由开发人员撰写,研究人员觉得令人困惑;新旧两个检索页面并行维护花了约一周的精力。负责人在发布说明环节增加了一名面向用户的编辑。
四种视角
产品与交付团队
为部署与发布分开而设计:使用开关,使数据变更兼容,并规划退路。观察你自己的发布,并撰写用户和支持人员能理解的说明。
服务与运维团队
帮助定义就绪标准、监控和回滚。及早索取发布信息,并告诉开发人员你需要什么。保持对生产环境内容的记录准确。
领导层与治理
与业务方一起决定发布时机,而不是按部署日历。为流水线和开关工具出资。对高影响的功能要求分阶段推出,并避免不顾就绪程度而在固定日期发布的压力。
客户与用户
你应当以你能理解的措辞听到重要的变更,并且应当能轻松地报告问题。如果你参加抢先体验,期待被征求反馈,并告诉团队你所看到的情况。
敏捷、AI、自动化与分析
敏捷
小而频繁的发布,在早期阶段有真实用户参与,能提供快速反馈。把每次发布视为一个学习步骤,并调整下一次。注意:不要仅仅因为流水线能做到,就发布用户并不想要的功能;与用户一起检验价值。
AI
AI 可以根据变更和工单起草发布说明,总结推出之后的反馈,并建议应观察什么。指定负责人,并在发布前由人把草稿与变更对照。注意:看似合理但错误的发布说明会误导用户和支持人员;对照实际变更进行核对。见主题 5.4 — 面向事件、知识与变更的生成式 AI。
自动化
自动化部署、分阶段推出、健康检查、指标不佳时自动暂停,以及回滚,带有日志和手动覆盖。注意:因指标不佳而触发的自动推出规则可能误触发;要测试它们,并让有人知情。见主题 6.4 — 流水线与自动化变更。
分析
在推出期间,比较已发布群体与其他群体的指标,如错误、任务成功率和投诉。注意:小群体会给出有噪声的结果,不加小心地比较可能误导;商定你要看什么以及等待多久。见主题 7.3 — 度量与报告和《服务管理度量》一书。
常见失败模式
- 发布与部署绑在一起。 每次上线都有风险。用开关和分阶段推出把它们分开。
- 没人拥有的开关。 代码里充满了死路径。记录负责人和移除日期。
- 没有快速退路。 糟糕的发布持续数小时。演练回滚和开关切换。
- 支持人员从第一个电话得知消息。 服务台毫无准备。提前提供说明和指南。
- 发布说明是写给开发人员的。 用户看不懂。为受众而写。
- 数据变更未经规划。 回滚不可能。采用兼容的小步骤。
- 什么也不观察。 问题是由用户发现的。指派观察者并设定指标。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 部署与发布的分离 | 同一事件 | 使用了一些开关 | 对重大功能使用开关和分阶段推出 | 基于数据作推出决策 | 跨服务以护栏自动化推出 |
| 回滚 | 缓慢且手工 | 有文档 | 演练过的快速路径 | 度量恢复时间 | 自动并定期测试 |
| 沟通 | 上线时才公告 | 部分发布有说明 | 为各受众提供说明,提前向支持人员通报 | 与读者一起测试说明 | 沟通与流水线和渠道集成 |
| 记录 | 凭记忆和电子邮件 | 电子表格 | 从流水线生成 | 用于评审和审计 | 跨版本、开关和事件关联 |
检查清单
- 对重大变更,我们把部署与发布分开。
- 功能开关有负责人和移除日期。
- 我们分阶段推出,并有明确的指标和停止标准。
- 我们知道如何快速关闭或回滚,并且演练过。
- 支持人员在用户之前收到发布信息。
- 发布说明为其读者而写。
- 数据变更以兼容、可逆的步骤进行。
- 关于发布了什么的记录是从流水线生成的。
AI 提示词
起草供审阅的发布说明。
这是本次发布的变更:[粘贴变更清单及工单标题]。受众是 [用户、支持人员或运维人员]。
请起草一份不超过 200 字的通俗发布说明,按用户会注意到的内容分组,并列出你在不猜测的情况下无法描述的条目。不要添加清单中没有的功能或日期。
请列出你不确定的事项。
准备发布就绪检查清单。
我们的发布:[描述]。我们知道的风险:[列表]。我们通常的检查:[列表]。
请起草一份最多十个是/否问题的检查清单,用于发布前回答,并注明每项由谁回答。保持简短,并与所列的风险挂钩。
请列出你不确定的事项。
规划分阶段推出。
我们的功能:[描述]。我们的用户:[群体及规模]。我们能度量的指标:[列表]。
请提出三个阶段,说明各阶段的受众、观察什么、持续多久,以及什么情况会使我们停下。指出这些指标无法告诉我们什么。不要声称任何阶段是安全的。
请列出你不确定的事项。
AI 技能
- release-notes:用于为各受众撰写发布说明。
- changelog:用于保留清晰的变更历史。
- shift-left-testing:用于在流水线中更早地测试。
- runbook:用于记录推出和回滚步骤。
主要来源
- Jez Humble 和 David Farley,Continuous Delivery(2010):部署流水线和发布技术的基础。
- PeopleCert, ITIL certification pages:所有者对发布与部署管理实践的描述。
- Wikipedia, "Software deployment" 和 "Feature toggle":对主要理念的概述。
- Wikipedia, "Release management":这一学科的背景。
参考文献
- Release management — Wikipedia — https://en.wikipedia.org/wiki/Release_management
- Software deployment — Wikipedia — https://en.wikipedia.org/wiki/Software_deployment
- Software release life cycle — Wikipedia — https://en.wikipedia.org/wiki/Software_release_life_cycle
- Feature toggle — Wikipedia — https://en.wikipedia.org/wiki/Feature_toggle
- Blue–green deployment — Wikipedia — https://en.wikipedia.org/wiki/Blue%E2%80%93green_deployment
- Release notes — Wikipedia — https://en.wikipedia.org/wiki/Release_notes
- Changelog — Wikipedia — https://en.wikipedia.org/wiki/Changelog
- Software versioning — Wikipedia — https://en.wikipedia.org/wiki/Software_versioning
- Schema migration — Wikipedia — https://en.wikipedia.org/wiki/Schema_migration
- Deployment environment — Wikipedia — https://en.wikipedia.org/wiki/Deployment_environment
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery