为什么这很重要

服务团队产生大量数据:工单、日志、指标、调查、变更记录、成本报告。其中大部分闲置不用,或被汇总到没人能把它们与某个决策联系起来的仪表板上。这些报告描述的是活动,比如关闭的工单数,却几乎没有说明客户是否过得更好。

分析是从数据中获得答案的学科。维基百科把分析(analytics)描述为对数据中有意义的模式进行发现、解释和沟通。在服务管理中,它可以显示需求来自何处、事件为何反复出现、工作在哪里等待、哪些变更有风险,以及某项改进是否有帮助。它也可能误导。一张图表可以显得权威,实际上却建立在有偏的样本、一次巧合,或悄悄改变了的定义之上。

本主题是第 7 部分的入口。它描述分析的种类、一项可靠分析的步骤,以及连谨慎的人也会中招的陷阱。度量的定义留给配套的《服务管理度量》一书,并指向后续的主题,分别讲基础(主题 7.2 — 数据基础与治理)、度量(主题 7.3 — 度量与报告)、可观测性(主题 7.4 — 可观测性与遥测)、预测(主题 7.5 — 预测分析与预报)、流动(主题 7.6 — 流程与价值流分析)和体验(主题 7.7 — 体验与情感分析)。所有者对最新 ITIL 版本的描述强调可衡量的成果(见主题 1.3 — ITIL 5),这有赖于做好分析。

核心概念

四种分析。 一种常见的框架区分:

种类 问题 服务工作中的例子
描述性 发生了什么? 按服务划分的每月事件数
诊断性 为什么发生? 反复出现的事件有什么共同点
预测性 可能发生什么? 下季度工单数量的预测
规范性 我们该怎么办? 以最低成本达到目标的人员配置水平

维基百科描述了描述性、预测性和规范性分析。每一种都建立在前一种之上。大多数服务团队从做好前两种中获得的价值最大。

从问题开始。 分析始于某人需要作出的决策,比如是否给晚班增加人手,并把它变成数据能回答的问题。没有问题,分析就沦为寻找有趣东西的搜索,而维基百科关于数据挖掘式的操纵(data dredging)的文章解释了这样为什么会发现只是巧合的模式。

数据。 你拥有什么、来自哪里、如何记录,以及它遗漏了什么。工单数据显示的是人们选择报告的内容以及坐席如何分类,而不是发生的一切。见主题 7.2 — 数据基础与治理。维基百科把数据质量(data quality)描述为适合使用。

描述性统计。 诸如计数、中位数、百分位数和离散程度之类的摘要。维基百科描述了描述性统计(descriptive statistics)。对服务数据来说,中位数和百分位数通常比平均值更有用,后者会掩盖长尾,而异常值(outliers,维基百科有描述)值得一看,而不是自动剔除。

探索性分析。 在检验想法之前,先看数据的形态、质量和意外之处。维基百科描述了探索性数据分析(exploratory data analysis)。它防止愚蠢的错误,比如把缺失值当作零。

抽样与偏差。 大多数分析使用样本,而样本可能误导。维基百科描述了抽样和选择偏差(selection bias)。调查回复来自回答的人,支持工单来自联系你的人。幸存者偏差(同样在该处描述)出现在你只研究留下来的东西,比如留下的客户。

相关与因果。 两件事一起变化,不意味着一个导致了另一个。维基百科在“相关不蕴含因果”(correlation does not imply causation)下描述了这个问题,以及混杂,即第三个因素同时驱动两者。工单量和服务器数量可能一起上升,因为业务增长了。因果的主张需要的不仅仅是一张图表:需要受控的比较,或对替代解释的仔细推理。维基百科把因果推断和 A/B 测试描述为了解因果的方式。

悖论与陷阱。 辛普森悖论(Simpson's paradox,维基百科有描述)是指,在几个分组中出现的趋势,在分组合并后发生逆转。基础比率谬误(base rate fallacy,同样在该处描述)是忽视某事有多常见的错误,以至于针对罕见事件的良好检测器产生的大多是误报。意识到这类陷阱是一种防御。

统计显著性与不确定性。 在所述假设下,当一个结果不太可能仅由偶然造成时,它是“显著的”。维基百科描述了假设检验和置信区间。显著不等于重要:在大数据集中,微小的效应也可能是显著的,而在小数据集中,大的效应也可能是不确定的。展示区间,而不只是单一的数字。

可视化。 图表帮助人们看到模式,糟糕的图表则误导。维基百科描述了数据可视化和信息可视化(data visualization)。选择适合问题的形式,标注坐标轴和单位,诚实地设定刻度起点,并显示不确定性。仪表板(dashboard,维基百科描述为关键信息的可视化展示)应当服务于决策,并且数量要少。

时间序列。 许多服务数据随时间记录,带有趋势、季节性模式和突然的转变。维基百科描述了时间序列分析(time series analysis)。比较同类:这个周一与其他周一。见主题 7.5 — 预测分析与预报。

模型与机器学习。 统计模型和机器学习模型可以预测、分类和聚类。它们需要训练数据和测试数据、验证,以及对漂移的监控。见主题 5.1 — 服务管理中的 AI。模型不是真相的来源;它是带有假设的工具。

古德哈特定律。 当一项度量成为目标时,它就不再是一个好的度量。维基百科描述了这一定律。用于评判个人或团队的分析,会招致改善数字而非结果的行为变化。用度量来学习,将其与其他度量配对,并说明每一项可能如何被钻空子。见《服务管理度量》一书。

伦理与隐私。 针对人的分析,比如坐席的生产率或用户行为,会引出同意、公平和适度的问题。维基百科在别处描述了隐私和算法偏见。只收集你需要的,尽可能汇总,并公开说明你分析什么以及为什么。见主题 5.6 — AI 治理、风险与合规。

沟通。 没人理解的分析不会改变任何事。用通俗的话说明问题、答案、置信度、局限和建议的决策,必要时附上图表。

这些视角如何契合。 分析是第四个视角,它为其他三个服务。敏捷实践用它检查一项变更是否有帮助。AI 以数据为燃料,可以在审查下加快分析。自动化产生数据并依据数据采取行动。分析也需要前三个视角,才能把洞察转化为变化。

最佳实践

  1. 从一个决策开始。 写下谁将在何时决定什么,以及什么证据会改变他们的想法。让分析适应这一点。
  2. 把决策变成精确的问题。 在接触数据之前,先定义术语,比如“已解决”或“重复事件”、总体和时期。
  3. 了解你的数据。 记录来源、记录是如何创建的、已知的缺口,以及定义随时间的变化。拿一批样本对照现实检查。
  4. 先看后测。 先探索分布、缺失值和异常值。修正错误并记录你改了什么。
  5. 使用稳健的摘要。 报告带有计数的中位数和百分位数,并显示离散程度。比较同类,比如同一个星期几或同一季节。
  6. 警惕偏差。 问数据里缺了谁,为什么。在呈现结果时,说明样本的局限。
  7. 没有依据不要声称因果。 除非你有比较或有力的论证,否则说“与……相关”。列出替代的解释,并说明你是如何检验的。
  8. 显示不确定性。 给出区间并注明样本量。避免虚假的精确。
  9. 为读者设计视觉效果。 让图表简单、诚实且有标注。倾向于少数几个有意义的仪表板,而不是许多没人用的。
  10. 闭环。 记录所作的决策及其结果,并事后检查分析是否有帮助。淘汰没人使用的报告。

与团队讨论的问题

我们最近一次用数据作的决策是什么?数据实际上告诉了我们什么? 索要例子。预期数据支持的是一个已经作出的决策。追问:选择一个即将到来的决策,先写下问题。

我们的哪些报告没人读,也没人据此采取行动? 检查使用情况。预期有若干个。追问:淘汰一个,问问是否有人想念它。

我们的数据可能在哪里有偏或不完整?缺了谁? 想想工单、调查和日志。预期许多用户从不联系我们。追问:选择一个来源,用另一个来源增加一道检查。

什么能让我们确信最近的一项改进确实奏效了? 讨论证据。预期依赖前后对比图。追问:列出同期发生变化的其他事情。

我们的哪些数字可能被钻空子?我们怎么会注意到? 选一个对某人的评价重要的度量。预期会有富有创意的答案。追问:商定一次抽样检查或一项配对的度量。

AI 如何帮助我们分析数据?我们如何检查它的工作? AI 可以总结数据、起草图表并建议模式。它也可能陈述编造的发现。问问谁来检查、如何检查。追问:在一个小数据集上手工重复一次 AI 的分析。

实践:一个服务管理示例

一家国家税务机关的 IT 服务台每月处理 25,000 次联系。一位高级经理有一份仪表板,显示平均解决时间在一年内上升了 20%,并要求服务台负责人“把它降回去”。负责人决定在作出反应之前先做分析。

她从问题开始:一次典型联系的解决时间是否上升了,如果是,是哪些种类的联系?她先检查数据。春天,工单工具改变了记录“已解决”的方式,使工单在坐席标记时而不是在用户确认时就算解决。她还发现,秋天推出的一个新的、复杂的“案件系统访问”请求类别占了 12% 的联系,耗时是其余联系的五倍。

她用中位数和第 90 百分位数重新计算,并按类别拆分。对于旧类别,解决时间的中位数没有变化;第 90 百分位数略有上升。总体平均值的上升主要是因为新类别和定义的改变。她指出,数据无法显示为什么有些访问请求耗时很长,只能显示它们确实如此。

她提交了一页纸的摘要:平均值上升是因为一类新的工作和一项定义的改变;大多数联系和以前一样快;长尾略有增长,复杂的请求需要看一看。她避免说新类别“导致”了长尾的上升,因为同期还有人员变动。她提出两项行动:用 40 张工单的样本研究访问请求,以及按类别并附带百分位数的月度报告。

变化在于:经理不再要求一刀切的削减,而是要求开展访问请求的研究。仍然困难的是:定义的改变无法完全撤销,所以跨越断点的比较仍然是近似的;那 40 张工单的样本由一个人阅读,容易有偏差;经理仍然偏爱单一的数字。负责人保留两种视图,并每次都解释各自的局限。

四种视角

产品与交付团队

用数据检验变更是否有帮助,并为你的产品插入监测,使有用的数据存在。与使用你数据的人分享定义和局限,避免仅凭单张图表过度宣称。

服务与运维团队

了解你的数据来自哪里、遗漏了什么。报告带有计数的中位数和百分位数,并检查长尾。当工具或类别发生变化时,告诉分析人员。

领导层与治理

索要问题、数据、局限和决策,而不只是一张图表。不要用单一度量来评判个人。为数据质量和分析技能出资。

客户与用户

你在数据之中,却常常缺席于数据。你应当被问到什么对你重要,提供者应当说明你的信息如何被使用。当数字与你的体验不符时,告诉提供者。

敏捷、AI、自动化与分析

敏捷

把分析用作反馈工具:设定预期,作一个小变更,检查数据,然后决定。与干系人分享结果。注意:不要等到有完美的数据才对小实验采取行动;也不要把一张简短的前后对比图当作证明。

AI

AI 可以清理数据、起草查询和图表、总结结果并建议模式,需要有负责人和检查。注意:AI 生成的分析可能陈述数据并不支持的发现,或使用了错误的方法;要求它展示其计算,并手工重复一部分样本。见主题 5.1 — 服务管理中的 AI。

自动化

自动化数据收集、清理和例行报告,并记录每一步。注意:自动化的报告可能在其含义改变之后仍在继续;定期评审定义和来源。见主题 6.1 — 自动化策略。

分析

本主题就是这个视角本身:问题、数据、方法、不确定性和决策。注意:不要让数据的体量代替洞察;度量分析是否改变了决策。度量定义和护栏见《服务管理度量》一书。

常见失败模式

  • 有报告而无决策。 仪表板没人用。从决策开始并淘汰无人使用的报告。
  • 掩盖真相的平均值。 一条糟糕体验的长尾无人看见。使用中位数、百分位数和拆分。
  • 不明的定义。 某个字段含义的变化破坏了趋势。记录并监控定义。
  • 有偏的样本。 只有联系你的人被统计。说明缺了谁。
  • 由相关推出因果。 一张图表被当作证明。列出替代解释并检验。
  • 虚假的精确。 数字没有不确定性就被展示。显示区间和样本量。
  • 扭曲的目标。 人们优化数字。将度量配对并抽查真实案例。

成熟度模型

维度 起步 发展 标准化 管理 协同
问题与决策 按习惯出报告 定义了一些问题 分析从指定的决策开始 跟踪决策的影响 分析与跨服务的规划整合
数据理解 未知 已知主要来源 来源、定义和缺口有文档 度量并改进数据质量 数据在团队和合作伙伴之间受治理并共享
方法 平均值和图表 中位数和基本拆分 标准方法、不确定性和偏差检查 评审方法并同行检查 在监督和验证下使用先进方法
沟通 仪表板 摘要 带局限的通俗语言发现 与用户一起检验发现 洞察融入日常决策

检查清单

  • 每项分析都从一个指定的决策和精确的问题开始。
  • 我们记录数据来源、定义和已知缺口。
  • 我们报告带有计数的中位数和百分位数。
  • 我们说明数据里缺了谁以及样本的局限。
  • 我们把相关与因果区分开,并列出替代解释。
  • 我们显示不确定性,避免虚假的精确。
  • 我们将可能被钻空子的度量配对,并抽查真实案例。
  • 我们跟踪所作的决策,并评审分析是否有帮助。

AI 提示词

把决策变成问题。

我们需要作出的决策:[描述]。由谁决定:[角色]。我们拥有的数据:[列出来源和字段]。
请写出三个能为该决策提供依据的精确分析问题,附带关键术语的定义、总体和时期。针对每个问题列出我们缺少哪些数据。不要提出答案。
请列出你不确定的事项。

检查结果摘要中的陷阱。

这是一项分析的摘要以及所用的数据:[粘贴]。
请列出可能的问题:样本偏差、缺失的群体、定义的变化、异常值、混杂因素,以及数据不支持的因果主张。对每一项引用原文。不要重做分析。
请列出你不确定的事项。

分析之前先描述数据集。

这是我们数据集中的一批行样本及字段名称,已去除标识符:[粘贴]。
请列出每个字段、其表面类型、缺失值、奇怪的值,以及关于它是如何记录的要问的问题。不要就业务得出结论。
请列出你不确定的事项。

AI 技能

主要来源

  • Edward Tufte,The Visual Display of Quantitative Information(1983):关于诚实图表的经典。
  • Darrell Huff,How to Lie with Statistics(1954):对常见统计把戏的简短易读的说明。
  • 配套的《服务管理度量》一书:度量的定义、被钻空子的途径和护栏。
  • Wikipedia, "Analytics" 和 "Data analysis":对这一领域的概述。

参考文献

  1. Analytics — Wikipedia — https://en.wikipedia.org/wiki/Analytics
  2. Data analysis — Wikipedia — https://en.wikipedia.org/wiki/Data_analysis
  3. Descriptive statistics — Wikipedia — https://en.wikipedia.org/wiki/Descriptive_statistics
  4. Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
  5. Prescriptive analytics — Wikipedia — https://en.wikipedia.org/wiki/Prescriptive_analytics
  6. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
  7. Simpson's paradox — Wikipedia — https://en.wikipedia.org/wiki/Simpson%27s_paradox
  8. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
  9. Data dredging — Wikipedia — https://en.wikipedia.org/wiki/Data_dredging
  10. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  11. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
  12. Exploratory data analysis — Wikipedia — https://en.wikipedia.org/wiki/Exploratory_data_analysis