度量与报告
好的度量从目标出发,使用少量定义精确的度量,将每项度量与防止被钻空子的护栏配对,展示分布和趋势,并向能够采取行动的人报告;定义存放在配套的《服务管理度量》一书中,本主题讲的是如何用好它们。
为什么这很重要
服务管理中的每个人都见过准确而无用的报告。几页数字,一份红绿灯式的摘要,以及一句所有目标都已达成的说明。然后是客户对一周糟糕服务的投诉,以及一位经理问这怎么可能。这份报告度量的是容易计数的东西,而目标成了结果的代名词。
相反的失败同样真实。一个团队不信任数字,因为它们曾被用来不公平地评判人,于是拒绝度量。那么改进就取决于意见,由嗓门最大的人来决定。
出路是把度量当作有目的的技艺:了解服务是否交付了成果,以及该在哪里改进。度量从目标中选择,定义得使两个人计算的结果相同,被当作分布和趋势来解读,并对照它们可能误导的方式进行检查。本主题以一般性的措辞描述这一技艺。它不定义具体的度量:配套的《服务管理度量》一书为每一项给出了定义、被钻空子的途径和护栏,要找数字本身请到那里去。本主题与分析(主题 7.1 — 服务管理分析)、数据基础(主题 7.2 — 数据基础与治理)、服务级别(主题 3.7 — 服务级别管理)和持续改进(主题 3.15 — 持续改进)相联系。
核心概念
度量值、度量、指标。 度量值(measure)是你可以观察的量,比如事件的数量。度量(metric)是为某一目的而定义的度量值,带有计算、来源和周期。指标(indicator)标示某件难以直接观察的事物的状态。维基百科一般性地描述了绩效指标(performance indicators),常缩写为 KPI,即关键绩效指标。这些术语使用得比较随意;要定义你的意思。
目标优先。 度量只有与目标相联系才有用。用通俗的话写下目标(“客户在出了故障时能迅速得到帮助”),然后问什么证据能显示它是否正在达成。维基百科描述了诸如平衡计分卡(balanced scorecard,从几个角度把度量与目标联系起来)以及目标与关键成果(OKR,把目标与可度量的结果配对)之类的方法。无论用哪一种,都把它们视为促进对话的辅助。
成果、产出与活动。 成果是客户和组织的改变;产出是服务生产的东西;活动是投入。只度量活动,比如关闭的工单数,几乎说明不了是否有人过得更好。要包括成果和体验的度量。见主题 1.1 — 服务管理。
领先指标与滞后指标。 滞后指标在事后报告结果,比如客户满意度。领先指标发出可能到来之事的信号,比如不断增长的待办事项账龄。维基百科在经济指标(economic indicators)下描述了两者。平衡的一组应当两者兼有。
精确的定义。 两个人必须能够计算该度量并得到相同的答案。定义总体、起止事件、排除项、周期和数据来源。“解决时间”需要定义时钟何时开始、停止和暂停。连同日期记录定义的变化。见主题 7.2 — 数据基础与治理。
平均值、中位数与百分位数。 平均值很容易被少数几个极端值扭曲。中位数和百分位数(percentiles,维基百科有描述)显示典型情形,以及运气不佳的用户所经历的长尾。对于响应和解决时间,报告百分位数,比如中位数和第 90 百分位数。
分布与趋势。 一个月一个数字会掩盖变化。显示分布、若干周期的趋势,以及正常波动的范围。维基百科描述了控制图(control charts)和统计过程控制,它们把正常的波动与某事已发生变化的信号区分开来。不要对每一个小波动都作出反应。
目标与阈值。 目标是你力求达到的水平;阈值是触发行动的水平。目标应当来自需要以及可实现性的证据。没有证据设定的目标,会招致钻空子或绝望。
古德哈特定律与钻空子。 当一项度量成为目标时,它就不再是一个好的度量。维基百科描述了古德哈特定律(Goodhart's law),以及社会科学家 Donald Campbell 相关的观察。人们会适应激励。工单被提前关闭,时钟被暂停,类别被改变,困难的案例被回避。维基百科关于反常激励(perverse incentives)的文章给出了意外效果的例子,有时称为眼镜蛇效应。每项度量都有钻空子的途径,《服务管理度量》一书把它连同护栏一起点明。
护栏。 用来防止第一项度量被钻空子的第二项度量或检查。例如,把速度与质量配对(解决时间配重新打开率),把数量与成果配对(关闭的工单配用户满意度),把自动化的度量与对真实案例的抽样评审配对。没有护栏,度量就会漂移。
度量个人。 对个人绩效的度量,比如每名坐席的工单数,特别容易被钻空子,也特别不公平,因为不同人的工作不同,而系统塑造了任何人能够取得的成就。本指南和配套的书建议不要给个人排名。使用团队层面的度量来理解系统。
对标。 与他人比较,如维基百科所述,可以帮助设定预期。只有在定义、工作构成和背景相符时,比较才有效。对忽略差异的比较保持怀疑。
报告。 报告的存在是为了为决策提供信息。要了解受众和决策。好的报告说明目标、度量、趋势、解释和行动。使用能使信息清晰的视觉设计。维基百科描述了数据与信息可视化(data and information visualization)和仪表板。少而清晰的视图胜过众多。
交付度量。 关于软件交付的研究项目,比如 DORA 项目,使用常被称为四项关键指标的四个度量:部署频率、变更前置时间、变更失败率和恢复服务时间。它们是关于交付体系的有用问题。它们不是给团队排名的分数。见主题 2.2 — 持续交付。
体验度量。 调查、满意度分数,以及维基百科描述的净推荐值(net promoter score),询问用户的想法。它们有自己的局限,比如谁回复了以及问题如何措辞。见主题 7.7 — 体验与情感分析。
透明与信任。 人们信任他们理解的、帮助定义的、并看到被公平使用的度量。分享定义、数据以及结果如何被使用。坦率地说明度量是为了学习。
这些视角如何契合。 度量是分析与治理和改进相遇的地方。敏捷实践用少数几项度量检查变更是否有帮助。AI 可以在审查下帮助计算和起草,而 AI 本身也需要质量度量。自动化从工具中产生度量。
最佳实践
- 从目标开始。 写下服务是做什么用的、成功是什么样子,然后选择能显示你是否正在接近目标的度量。舍弃不服务于任何目标的度量。
- 让这一组保持小。 每项服务选择少数几项度量,涵盖成果、流动、质量和体验。至少每年评审一次这一组。
- 精确定义每项度量。 写下定义、来源、计算、周期、排除项、负责人和已知局限。以《服务管理度量》一书中的定义为起点。
- 指明钻空子的途径并增加护栏。 对每一项,问怎样才能在不改进服务的情况下改善它,并把它与一项检查配对。定期抽查真实案例。
- 展示分布和趋势。 报告中位数和百分位数、正常波动的范围,以及若干个周期。解释变化,并区分信号与噪音。
- 依据证据设定目标。 基于历史、需要和能力,并与必须达成目标的人商定。在情况变化时重新审视。
- 度量系统,而不是个人。 使用团队层面和服务层面的度量来理解系统。不要据此给人排名。
- 为决策而报告。 对每份报告,指明受众和决策。陈述发现、置信度和建议的行动。淘汰没人使用的报告。
- 保持公开。 向被度量的人公布定义和结果,并欢迎质疑。告诉人们数据将被如何使用、不会被如何使用。
- 评审并淘汰。 检查每项度量是否改变了决策。移除那些没有的,修复那些被钻空子的。
与团队讨论的问题
我们的哪些度量可以在不让任何客户变得更好的情况下达成? 这个问题找出钻空子的途径。预期有几个容易的例子。追问:选择一个并商定护栏。
我们每项定期的度量服务于什么目标?谁因它而作出决定? 走一遍报告。预期有若干度量既没有目标也没有决策。追问:放弃一项。
我们如何定义“已解决”和“响应时间”?有人改变过定义吗? 索要书面定义。预期会有分歧。追问:写下一个定义并记录其历史。
我们的百分位数显示了什么,是我们的平均值所掩盖的? 对一项度量两者都计算。预期有一条长尾。追问:商定为它报告百分位数。
这里如何用度量来评判个人或团队?这对行为有什么影响? 公开讨论。预期会有关于钻空子和恐惧的故事。追问:商定某项度量将用于学习,并以书面形式说明。
AI 如何帮助我们计算或解释度量?我们如何检查它? AI 可以计算并起草评论。它也可能用编造的原因解释一个趋势。问问谁来检查。追问:手工重复一次计算并作比较。
实践:一个服务管理示例
一家区域救护服务的 IT 部门每月向董事会报告 24 项度量。董事会问,为什么报告是绿色的,而调度员却抱怨计算机辅助调度系统在换班开始时很慢。IT 主管决定与使用者一起重建度量集。
她从目标开始,与调度负责人商定:调度员可以无延迟地打开和更新一次呼叫;故障被迅速修复;变更不会扰乱运营。她选了八项度量,每项都根据配套的《服务管理度量》一书用一页纸的条目定义。对于“调度员事务时间”,定义说明计时的是什么、从哪里开始,并说明按一天中的小时报告第 95 百分位数。旧的可用性度量,由数据中心每隔五分钟的一次 ping 来度量,被保留下来,但不单独呈现给董事会。
对每项度量,团队写下钻空子的途径和护栏。“在目标时间内解决的事件”与重新打开率以及由一位资深分析师阅读的每月 30 起事件的样本配对;团队认识到,迅速关闭事件、事后又重新打开,会美化第一项度量。董事会报告展示 12 个月的中位数和第 95 百分位数及正常波动的范围,以及一段简短的说明,讲述发生了什么变化以及团队将做什么。
第一份报告显示,第 95 百分位数的事务时间在 06:30 到 07:30 之间翻了一番,董事会为一项容量研究出资。每月向 40 名调度员询问一次的满意度问题,增加了一个体验的视角。IT 主管还以书面形式声明,没有任何度量会被用来给分析师个人排名。
变化在于:董事会讨论的是一个真实的问题,团队也不再为定义争论。仍然困难的是:新的事务度量依赖一个日志字段,两家供应商记录的方式不同,所以数据是近似的;夜班的调查回复率低;一位高级经理仍然想要给董事会一个单一的分数。IT 主管保留了这八项度量,并向这位经理展示单一分数会如何掩盖早晨的问题。
四种视角
产品与交付团队
把度量内建于产品:事态、计时和面向用户的指标。用交付度量来发现约束,而不是比较团队。与运维分享定义。
服务与运维团队
了解度量什么以及如何度量,并对照你自己对服务的感觉进行检查。诚实地报告被钻空子的情况和糟糕的定义。用度量看到该在哪里改进。
领导层与治理
索要目标、定义、分布和护栏,而不是一份绿色的摘要。不要用度量给人排名。为数据工作出资,并准备好听到坏消息。
客户与用户
你应当被问到什么对你重要,看到反映你体验的度量,并听到因此正在发生什么变化。当数字与你所见不符时,告诉提供者。
敏捷、AI、自动化与分析
敏捷
用少数几项度量检查每项变更,带有预期和日期,并与干系人评审。淘汰不再提供信息的度量。注意:不要让度量成为团队的目标;他们会优化数字。
AI
AI 可以帮助计算、制图和起草评论,而 AI 系统本身也需要准确性、错误和成本的度量。注意:AI 对数字为何变化的解释可能是编造的;要求它指向数据并加以检查。见主题 5.1 — 服务管理中的 AI。
自动化
自动化收集和计算,并记录定义和变更日志。注意:自动化的报告可能在其定义已悄悄失效之后仍运行数年;定期对照原始数据验证。见主题 6.1 — 自动化策略。
分析
使用分布、趋势与波动方法,以及对真实案例的抽样来检查度量。注意:任何度量一旦重要就可能被钻空子;将度量配对,并持续阅读案例。见《服务管理度量》一书和主题 7.1 — 服务管理分析。
常见失败模式
- 报告是绿色,客户却不满。 度量遗漏了成果。增加成果和体验的度量以及抽样。
- 度量太多。 没人能用。保留少数与目标相联的。
- 定义含糊。 数字无法比较。精确定义并记录变更。
- 只看平均值。 长尾被隐藏。报告百分位数和分布。
- 没有证据的目标。 随之而来的是钻空子或绝望。依据数据设定目标并商定。
- 给个人排名。 信任崩溃,数字被钻空子。度量系统和团队。
- 没有护栏。 度量漂移。将每项与一项检查配对并抽查案例。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 目标与选择 | 容易计数的任何东西 | 一些与目标相联的度量 | 每项服务有一组与目标相联的少量度量 | 对照决策评审这一组 | 度量在各服务和合作伙伴之间对齐 |
| 定义与质量 | 非正式 | 一些定义 | 带有负责人和变更历史的精确定义 | 对照原始数据验证定义 | 定义在团队之间共享并自动化 |
| 防钻空子 | 无 | 有意识 | 每项度量都有钻空子的途径和护栏 | 评审真实案例的样本 | 防御内建于报告和文化 |
| 报告与使用 | 静态报告 | 仪表板 | 针对指定决策的、带趋势和分布的报告 | 跟踪使用和影响 | 报告与规划和改进整合 |
检查清单
- 每项度量都服务于一个书面的目标。
- 每项度量都有精确的定义、负责人、来源和变更历史。
- 我们报告带有趋势的中位数和百分位数。
- 每项度量都有指明的钻空子途径和护栏。
- 我们包括成果和体验的度量。
- 我们不依据这些度量给个人排名。
- 每份报告都指明其受众及所支持的决策。
- 我们评审并淘汰不再改变决策的度量。
AI 提示词
撰写供评审的度量定义。
度量名称:[名称]。我们想知道的:[用通俗语言写目标]。我们拥有的数据:[字段和来源]。
请起草一份定义,包含:目的、总体、起止事件、排除项、计算、周期、来源、负责人(留空)和已知局限。然后列出该度量可能被钻空子的两种方式,以及针对每种的一项护栏。标明任何假设。
请列出你不确定的事项。
检查报告中的常见问题。
这是一份月度报告,含有其度量和一段简短的评论:[粘贴]。
请列出没有说明目标的度量、使用平均值而百分位数会更有帮助之处、数据不支持的因果主张、可能不是同类可比的比较,以及任何可能被钻空子的内容。对每一项引用原文。不要改写报告。
请列出你不确定的事项。
解释某项度量的变化。
度量 [名称] 从 [数值] 变为 [数值]。这是同期的其他事实:[粘贴,例如工具、人员、数量、定义的变化]。
请把可能的解释列为假设,说明什么数据可检验每一个,以及哪些得不到所给事实的支持。不要把原因当作事实陈述。
请列出你不确定的事项。
AI 技能
- software-engineering-metrics:用于定义交付度量及其风险。
- key-risk-indicators:用于选择预警指标。
- statistical-analysis:用于分析波动和不确定性。
- survey-design:用于设计避免偏差的体验度量。
- trend-analysis:用于考察随时间的变化。
主要来源
- 配套的《服务管理度量》一书:度量定义、被钻空子的途径和护栏,本主题自始至终指向它。
- Nicole Forsgren、Jez Humble 和 Gene Kim,Accelerate(2018),以及 DORA(dora.dev):关于交付度量的研究。
- Donald J. Wheeler,Understanding Variation(1993):关于度量中信号与噪音的清晰论述。
- Wikipedia, "Goodhart's law" 和 "Performance indicator":对主要理念的概述。
参考文献
- Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
- Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
- Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Campbell's law — Wikipedia — https://en.wikipedia.org/wiki/Campbell%27s_law
- Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
- Economic indicator — Wikipedia — https://en.wikipedia.org/wiki/Economic_indicator
- Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Benchmarking — Wikipedia — https://en.wikipedia.org/wiki/Benchmarking
- Data and information visualization — Wikipedia — https://en.wikipedia.org/wiki/Data_and_information_visualization
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score