服务管理分析
分析把服务数据转化为对问题的回答:发生了什么、为什么、将会发生什么,以及该怎么办;当每一项分析都从一个明确的问题出发,说明其数据和局限,把相关与因果区分开,并最终落到某个人可以作出的决策上时,它才赢得信任。
为什么这很重要
服务团队产生大量数据:工单、日志、指标、调查、变更记录、成本报告。其中大部分闲置不用,或被汇总到没人能把它们与某个决策联系起来的仪表板上。这些报告描述的是活动,比如关闭的工单数,却几乎没有说明客户是否过得更好。
分析是从数据中获得答案的学科。维基百科把分析(analytics)描述为对数据中有意义的模式进行发现、解释和沟通。在服务管理中,它可以显示需求来自何处、事件为何反复出现、工作在哪里等待、哪些变更有风险,以及某项改进是否有帮助。它也可能误导。一张图表可以显得权威,实际上却建立在有偏的样本、一次巧合,或悄悄改变了的定义之上。
本主题是第 7 部分的入口。它描述分析的种类、一项可靠分析的步骤,以及连谨慎的人也会中招的陷阱。度量的定义留给配套的《服务管理度量》一书,并指向后续的主题,分别讲基础(主题 7.2 — 数据基础与治理)、度量(主题 7.3 — 度量与报告)、可观测性(主题 7.4 — 可观测性与遥测)、预测(主题 7.5 — 预测分析与预报)、流动(主题 7.6 — 流程与价值流分析)和体验(主题 7.7 — 体验与情感分析)。所有者对最新 ITIL 版本的描述强调可衡量的成果(见主题 1.3 — ITIL 5),这有赖于做好分析。
核心概念
四种分析。 一种常见的框架区分:
| 种类 | 问题 | 服务工作中的例子 |
|---|---|---|
| 描述性 | 发生了什么? | 按服务划分的每月事件数 |
| 诊断性 | 为什么发生? | 反复出现的事件有什么共同点 |
| 预测性 | 可能发生什么? | 下季度工单数量的预测 |
| 规范性 | 我们该怎么办? | 以最低成本达到目标的人员配置水平 |
维基百科描述了描述性、预测性和规范性分析。每一种都建立在前一种之上。大多数服务团队从做好前两种中获得的价值最大。
从问题开始。 分析始于某人需要作出的决策,比如是否给晚班增加人手,并把它变成数据能回答的问题。没有问题,分析就沦为寻找有趣东西的搜索,而维基百科关于数据挖掘式的操纵(data dredging)的文章解释了这样为什么会发现只是巧合的模式。
数据。 你拥有什么、来自哪里、如何记录,以及它遗漏了什么。工单数据显示的是人们选择报告的内容以及坐席如何分类,而不是发生的一切。见主题 7.2 — 数据基础与治理。维基百科把数据质量(data quality)描述为适合使用。
描述性统计。 诸如计数、中位数、百分位数和离散程度之类的摘要。维基百科描述了描述性统计(descriptive statistics)。对服务数据来说,中位数和百分位数通常比平均值更有用,后者会掩盖长尾,而异常值(outliers,维基百科有描述)值得一看,而不是自动剔除。
探索性分析。 在检验想法之前,先看数据的形态、质量和意外之处。维基百科描述了探索性数据分析(exploratory data analysis)。它防止愚蠢的错误,比如把缺失值当作零。
抽样与偏差。 大多数分析使用样本,而样本可能误导。维基百科描述了抽样和选择偏差(selection bias)。调查回复来自回答的人,支持工单来自联系你的人。幸存者偏差(同样在该处描述)出现在你只研究留下来的东西,比如留下的客户。
相关与因果。 两件事一起变化,不意味着一个导致了另一个。维基百科在“相关不蕴含因果”(correlation does not imply causation)下描述了这个问题,以及混杂,即第三个因素同时驱动两者。工单量和服务器数量可能一起上升,因为业务增长了。因果的主张需要的不仅仅是一张图表:需要受控的比较,或对替代解释的仔细推理。维基百科把因果推断和 A/B 测试描述为了解因果的方式。
悖论与陷阱。 辛普森悖论(Simpson's paradox,维基百科有描述)是指,在几个分组中出现的趋势,在分组合并后发生逆转。基础比率谬误(base rate fallacy,同样在该处描述)是忽视某事有多常见的错误,以至于针对罕见事件的良好检测器产生的大多是误报。意识到这类陷阱是一种防御。
统计显著性与不确定性。 在所述假设下,当一个结果不太可能仅由偶然造成时,它是“显著的”。维基百科描述了假设检验和置信区间。显著不等于重要:在大数据集中,微小的效应也可能是显著的,而在小数据集中,大的效应也可能是不确定的。展示区间,而不只是单一的数字。
可视化。 图表帮助人们看到模式,糟糕的图表则误导。维基百科描述了数据可视化和信息可视化(data visualization)。选择适合问题的形式,标注坐标轴和单位,诚实地设定刻度起点,并显示不确定性。仪表板(dashboard,维基百科描述为关键信息的可视化展示)应当服务于决策,并且数量要少。
时间序列。 许多服务数据随时间记录,带有趋势、季节性模式和突然的转变。维基百科描述了时间序列分析(time series analysis)。比较同类:这个周一与其他周一。见主题 7.5 — 预测分析与预报。
模型与机器学习。 统计模型和机器学习模型可以预测、分类和聚类。它们需要训练数据和测试数据、验证,以及对漂移的监控。见主题 5.1 — 服务管理中的 AI。模型不是真相的来源;它是带有假设的工具。
古德哈特定律。 当一项度量成为目标时,它就不再是一个好的度量。维基百科描述了这一定律。用于评判个人或团队的分析,会招致改善数字而非结果的行为变化。用度量来学习,将其与其他度量配对,并说明每一项可能如何被钻空子。见《服务管理度量》一书。
伦理与隐私。 针对人的分析,比如坐席的生产率或用户行为,会引出同意、公平和适度的问题。维基百科在别处描述了隐私和算法偏见。只收集你需要的,尽可能汇总,并公开说明你分析什么以及为什么。见主题 5.6 — AI 治理、风险与合规。
沟通。 没人理解的分析不会改变任何事。用通俗的话说明问题、答案、置信度、局限和建议的决策,必要时附上图表。
这些视角如何契合。 分析是第四个视角,它为其他三个服务。敏捷实践用它检查一项变更是否有帮助。AI 以数据为燃料,可以在审查下加快分析。自动化产生数据并依据数据采取行动。分析也需要前三个视角,才能把洞察转化为变化。
最佳实践
- 从一个决策开始。 写下谁将在何时决定什么,以及什么证据会改变他们的想法。让分析适应这一点。
- 把决策变成精确的问题。 在接触数据之前,先定义术语,比如“已解决”或“重复事件”、总体和时期。
- 了解你的数据。 记录来源、记录是如何创建的、已知的缺口,以及定义随时间的变化。拿一批样本对照现实检查。
- 先看后测。 先探索分布、缺失值和异常值。修正错误并记录你改了什么。
- 使用稳健的摘要。 报告带有计数的中位数和百分位数,并显示离散程度。比较同类,比如同一个星期几或同一季节。
- 警惕偏差。 问数据里缺了谁,为什么。在呈现结果时,说明样本的局限。
- 没有依据不要声称因果。 除非你有比较或有力的论证,否则说“与……相关”。列出替代的解释,并说明你是如何检验的。
- 显示不确定性。 给出区间并注明样本量。避免虚假的精确。
- 为读者设计视觉效果。 让图表简单、诚实且有标注。倾向于少数几个有意义的仪表板,而不是许多没人用的。
- 闭环。 记录所作的决策及其结果,并事后检查分析是否有帮助。淘汰没人使用的报告。
与团队讨论的问题
我们最近一次用数据作的决策是什么?数据实际上告诉了我们什么? 索要例子。预期数据支持的是一个已经作出的决策。追问:选择一个即将到来的决策,先写下问题。
我们的哪些报告没人读,也没人据此采取行动? 检查使用情况。预期有若干个。追问:淘汰一个,问问是否有人想念它。
我们的数据可能在哪里有偏或不完整?缺了谁? 想想工单、调查和日志。预期许多用户从不联系我们。追问:选择一个来源,用另一个来源增加一道检查。
什么能让我们确信最近的一项改进确实奏效了? 讨论证据。预期依赖前后对比图。追问:列出同期发生变化的其他事情。
我们的哪些数字可能被钻空子?我们怎么会注意到? 选一个对某人的评价重要的度量。预期会有富有创意的答案。追问:商定一次抽样检查或一项配对的度量。
AI 如何帮助我们分析数据?我们如何检查它的工作? AI 可以总结数据、起草图表并建议模式。它也可能陈述编造的发现。问问谁来检查、如何检查。追问:在一个小数据集上手工重复一次 AI 的分析。
实践:一个服务管理示例
一家国家税务机关的 IT 服务台每月处理 25,000 次联系。一位高级经理有一份仪表板,显示平均解决时间在一年内上升了 20%,并要求服务台负责人“把它降回去”。负责人决定在作出反应之前先做分析。
她从问题开始:一次典型联系的解决时间是否上升了,如果是,是哪些种类的联系?她先检查数据。春天,工单工具改变了记录“已解决”的方式,使工单在坐席标记时而不是在用户确认时就算解决。她还发现,秋天推出的一个新的、复杂的“案件系统访问”请求类别占了 12% 的联系,耗时是其余联系的五倍。
她用中位数和第 90 百分位数重新计算,并按类别拆分。对于旧类别,解决时间的中位数没有变化;第 90 百分位数略有上升。总体平均值的上升主要是因为新类别和定义的改变。她指出,数据无法显示为什么有些访问请求耗时很长,只能显示它们确实如此。
她提交了一页纸的摘要:平均值上升是因为一类新的工作和一项定义的改变;大多数联系和以前一样快;长尾略有增长,复杂的请求需要看一看。她避免说新类别“导致”了长尾的上升,因为同期还有人员变动。她提出两项行动:用 40 张工单的样本研究访问请求,以及按类别并附带百分位数的月度报告。
变化在于:经理不再要求一刀切的削减,而是要求开展访问请求的研究。仍然困难的是:定义的改变无法完全撤销,所以跨越断点的比较仍然是近似的;那 40 张工单的样本由一个人阅读,容易有偏差;经理仍然偏爱单一的数字。负责人保留两种视图,并每次都解释各自的局限。
四种视角
产品与交付团队
用数据检验变更是否有帮助,并为你的产品插入监测,使有用的数据存在。与使用你数据的人分享定义和局限,避免仅凭单张图表过度宣称。
服务与运维团队
了解你的数据来自哪里、遗漏了什么。报告带有计数的中位数和百分位数,并检查长尾。当工具或类别发生变化时,告诉分析人员。
领导层与治理
索要问题、数据、局限和决策,而不只是一张图表。不要用单一度量来评判个人。为数据质量和分析技能出资。
客户与用户
你在数据之中,却常常缺席于数据。你应当被问到什么对你重要,提供者应当说明你的信息如何被使用。当数字与你的体验不符时,告诉提供者。
敏捷、AI、自动化与分析
敏捷
把分析用作反馈工具:设定预期,作一个小变更,检查数据,然后决定。与干系人分享结果。注意:不要等到有完美的数据才对小实验采取行动;也不要把一张简短的前后对比图当作证明。
AI
AI 可以清理数据、起草查询和图表、总结结果并建议模式,需要有负责人和检查。注意:AI 生成的分析可能陈述数据并不支持的发现,或使用了错误的方法;要求它展示其计算,并手工重复一部分样本。见主题 5.1 — 服务管理中的 AI。
自动化
自动化数据收集、清理和例行报告,并记录每一步。注意:自动化的报告可能在其含义改变之后仍在继续;定期评审定义和来源。见主题 6.1 — 自动化策略。
分析
本主题就是这个视角本身:问题、数据、方法、不确定性和决策。注意:不要让数据的体量代替洞察;度量分析是否改变了决策。度量定义和护栏见《服务管理度量》一书。
常见失败模式
- 有报告而无决策。 仪表板没人用。从决策开始并淘汰无人使用的报告。
- 掩盖真相的平均值。 一条糟糕体验的长尾无人看见。使用中位数、百分位数和拆分。
- 不明的定义。 某个字段含义的变化破坏了趋势。记录并监控定义。
- 有偏的样本。 只有联系你的人被统计。说明缺了谁。
- 由相关推出因果。 一张图表被当作证明。列出替代解释并检验。
- 虚假的精确。 数字没有不确定性就被展示。显示区间和样本量。
- 扭曲的目标。 人们优化数字。将度量配对并抽查真实案例。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 问题与决策 | 按习惯出报告 | 定义了一些问题 | 分析从指定的决策开始 | 跟踪决策的影响 | 分析与跨服务的规划整合 |
| 数据理解 | 未知 | 已知主要来源 | 来源、定义和缺口有文档 | 度量并改进数据质量 | 数据在团队和合作伙伴之间受治理并共享 |
| 方法 | 平均值和图表 | 中位数和基本拆分 | 标准方法、不确定性和偏差检查 | 评审方法并同行检查 | 在监督和验证下使用先进方法 |
| 沟通 | 仪表板 | 摘要 | 带局限的通俗语言发现 | 与用户一起检验发现 | 洞察融入日常决策 |
检查清单
- 每项分析都从一个指定的决策和精确的问题开始。
- 我们记录数据来源、定义和已知缺口。
- 我们报告带有计数的中位数和百分位数。
- 我们说明数据里缺了谁以及样本的局限。
- 我们把相关与因果区分开,并列出替代解释。
- 我们显示不确定性,避免虚假的精确。
- 我们将可能被钻空子的度量配对,并抽查真实案例。
- 我们跟踪所作的决策,并评审分析是否有帮助。
AI 提示词
把决策变成问题。
我们需要作出的决策:[描述]。由谁决定:[角色]。我们拥有的数据:[列出来源和字段]。
请写出三个能为该决策提供依据的精确分析问题,附带关键术语的定义、总体和时期。针对每个问题列出我们缺少哪些数据。不要提出答案。
请列出你不确定的事项。
检查结果摘要中的陷阱。
这是一项分析的摘要以及所用的数据:[粘贴]。
请列出可能的问题:样本偏差、缺失的群体、定义的变化、异常值、混杂因素,以及数据不支持的因果主张。对每一项引用原文。不要重做分析。
请列出你不确定的事项。
分析之前先描述数据集。
这是我们数据集中的一批行样本及字段名称,已去除标识符:[粘贴]。
请列出每个字段、其表面类型、缺失值、奇怪的值,以及关于它是如何记录的要问的问题。不要就业务得出结论。
请列出你不确定的事项。
AI 技能
- statistical-analysis:用于选择并应用可靠的统计方法。
- trend-analysis:用于考察随时间的变化。
- data-quality:用于检查并改进分析背后的数据。
- software-engineering-metrics:用于定义交付度量及其风险。
- survey-design:用于设计避免常见偏差的调查。
主要来源
- Edward Tufte,The Visual Display of Quantitative Information(1983):关于诚实图表的经典。
- Darrell Huff,How to Lie with Statistics(1954):对常见统计把戏的简短易读的说明。
- 配套的《服务管理度量》一书:度量的定义、被钻空子的途径和护栏。
- Wikipedia, "Analytics" 和 "Data analysis":对这一领域的概述。
参考文献
- Analytics — Wikipedia — https://en.wikipedia.org/wiki/Analytics
- Data analysis — Wikipedia — https://en.wikipedia.org/wiki/Data_analysis
- Descriptive statistics — Wikipedia — https://en.wikipedia.org/wiki/Descriptive_statistics
- Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
- Prescriptive analytics — Wikipedia — https://en.wikipedia.org/wiki/Prescriptive_analytics
- Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
- Simpson's paradox — Wikipedia — https://en.wikipedia.org/wiki/Simpson%27s_paradox
- Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
- Data dredging — Wikipedia — https://en.wikipedia.org/wiki/Data_dredging
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
- Exploratory data analysis — Wikipedia — https://en.wikipedia.org/wiki/Exploratory_data_analysis