预测分析与预报
对需求、容量、事件和变更风险的预报与预测,帮助团队做好准备,但它们在本质上是不确定的;先使用简单的基线,展示区间而不是单一数字,对照留出的数据验证,监控漂移,并在作出预报之前明确决策规则。
为什么这很重要
服务团队总是在为某件事做准备。新学期的第一周会来多少联系?存储什么时候会满?哪些变更可能引发事件?促销期间应当安排多少人值班?关于人员、容量和风险的决定,都建立在对未来的信念之上,无论是否有人把它说出来。
预测使这些信念变得明确且可检验。对下个月工单量的预报,带有区间,可以与实际发生的情况作比较并加以改进。为变更风险评分的模型,可以对照失败的变更来检查。做得好,它用证据取代了直觉。做得不好,它用虚假的自信取代了直觉:一个精确到两位小数的单一数字,由一个没人能解释的模型产生,因为看起来科学而被信任。
预测出错的原因很平常。过去并不包含重要的模式。模型拟合了噪音。一次上线、一项政策变化或一次中断,打破了模型所学到的关系。用为常见事件打造的工具去预测一件罕见的事件。本主题描述服务管理中预报和预测的主要种类、通俗易懂的方法,以及让它们保持诚实的习惯。它建立在分析(主题 7.1 — 服务管理分析)和容量规划(主题 3.11 — 可用性、容量与性能)之上,并与 AIOps(主题 5.2 — AIOps)以及云的经济性(主题 4.5 — 财务管理与 FinOps)相关。
核心概念
预报与预测。 预报估计某个量随时间的未来值,比如下个月的需求。预测则更广泛地估计一个未知量,比如一项变更是否会失败。维基百科描述了预报(forecasting)和预测分析(predictive analytics)。两者都利用过去数据中的模式,两者都是不确定的。
时间序列。 按固定间隔记录的数据。维基百科描述了时间序列分析(time series analysis)。许多服务量,比如每日工单数,是带有趋势(长期的上升或下降)、季节性(有规律的周期,比如每周或每年的)和噪音的时间序列。维基百科描述了季节性(seasonality)。预报需要兼顾这三者。
基线。 可能奏效的最简单的预报:“下周会和这周一样”,或者“这个月会和去年同月一样,再按增长调整”。基线出奇地难以超越。始终将复杂的方法与基线作比较;如果它没有明显更好,就用基线。
经典方法。 指数平滑和自回归积分滑动平均(ARIMA)模型等技术(维基百科有描述),能处理许多序列的趋势和季节性,往往难以被更复杂的工具超越。它们也更容易解释。
机器学习方法。 从许多变量中学习模式的方法,比如回归树或神经网络,可以使用额外的信息,比如计划中的事件。维基百科一般性地描述了回归分析(regression analysis)和机器学习。当有大量相关数据时,它们可以做得很好,而在没有时可能过拟合。见主题 5.1 — 服务管理中的 AI。
过拟合与验证。 与过去匹配得太紧密、包括其噪音的模型,在新数据上表现不佳。维基百科描述了过拟合(overfitting)。防御办法是留出模型没见过的数据,分成独立的训练集、验证集和测试集(如维基百科所述),并在比构建模型所用时期更晚的时期上测试。对于时间序列,这称为回测,维基百科对此有描述(backtesting)。
泄漏。 在模型中使用了预测时本不可得的信息,比如事件解决后才填写的字段。维基百科描述了机器学习中的泄漏(leakage)。它会产生令人印象深刻的测试结果和无用的预报。
不确定性与区间。 预报是可能性的分布,而不是一个数字。预测区间(prediction interval,维基百科有描述)给出一个以所述概率预期包含结果的范围。报告区间,比如“8,000 至 9,500 次联系,最可能为 8,700”。维基百科描述的蒙特卡洛方法(Monte Carlo methods)模拟许多种可能的未来,以显示一个范围。
情景。 对于取决于决策或事件的东西,比如一次上线,情景规划(scenario planning,维基百科有描述)发展出几个合理的故事并为每个做计划,而不是一个预报。当未来可能在性质上不同于过去时,使用情景。
准确度度量。 常见的度量将预报与结果作比较,比如平均绝对百分比误差(维基百科有描述),以及落在所述区间内的结果所占的份额。每一种都有弱点:当数值接近零时,百分比误差不稳定。选择与错误给你带来的代价相匹配的度量。
分类与风险评分。 预测某事是否会发生,比如一项变更是否会失败,或一张工单是否会违反目标,会产生一个评分。维基百科描述了精确率和召回率(precision and recall),即这类预测可能出错的两种方式:误报和漏报。罕见事件使之变得困难:维基百科描述的基础比率谬误(base rate fallacy)是指,当事件罕见时,一个看似良好的检测器产生的大多是误报。在选择阈值之前,先决定每种错误的代价。
校准。 如果在评分为 20% 的条目中,大约有 20% 确实发生了,则风险评分是经过校准的。维基百科描述了统计中的校准(calibration)。排序良好但没有校准的评分,可能误导那些把它当作概率来读的人。
漂移。 随着服务、用户和工具的变化,关系也在变化。维基百科描述了概念漂移(concept drift)。去年奏效的模型,在新产品上线后可能失效。随时间监控准确性,并在其下降时再训练或重建。
罕见与极端事件。 在普通历史上训练的模型,对非常不寻常的事件表现不佳。维基百科描述了黑天鹅理论(black swan theory),即罕见而影响巨大的事件无法根据普通数据预测。不要依赖预报来应对尾部风险;使用情景、压力测试和演练。见主题 3.12 — 服务连续性管理。
排队与容量。 预测的需求为容量决策提供依据。排队论和利特尔法则(维基百科有描述)把需求、容量和等待联系起来。见主题 3.11 — 可用性、容量与性能和主题 2.3 — 流动与看板。
决策优先。 只有当预报改变决策时才有用。在构建之前,写下它为之提供依据的决策、行动阈值,以及在每个阈值上你将做什么。如果什么都不会改变,就不要预报。
人的判断。 人们了解模型没见过的上线、政策变化和事件。把模型输出与判断结合起来,记录所作的调整,并事后检查它们是否有帮助。
这些视角如何契合。 预测是分析面向未来的一侧。敏捷实践把预报视为假设,并经常刷新。AI 技术扩展了可预测的范围,需要审查,并附带上述注意事项。自动化可以依据预测采取行动,比如在需求之前扩容,并带有限制。
最佳实践
- 先说明决策和阈值。 写下预报的每个区间会触发什么行动,以及由谁决定。跳过那些不会改变任何事情的预报。
- 从基线开始。 构建一个简单的预报,比如去年的模式再按增长调整,并度量它的误差。把它用作要超越的标准。
- 倾向于你能解释的方法。 使用经典方法或简单模型,除非复杂的方法在留出的数据上明显更好。要能用通俗的话说出是什么驱动着预报。
- 诚实地验证。 留出最近的时期,跨若干时期回测,并检查泄漏。报告模型没见过的数据上的误差。
- 展示区间和情景。 给出最可能的值和一个合理的区间。在事件可能改变模式的地方使用情景。不要呈现虚假的精确。
- 纳入已知的事件。 从了解它们的人那里增加上线、截止日期、假日和促销活动。记录通过判断所作的调整。
- 让阈值与错误的代价相匹配。 对于风险评分,决定误报和漏报的代价,据此设定阈值,并检查校准。
- 监控准确性和漂移。 把每次预报与结果比较,随时间跟踪误差,并在准确性下降时再训练或重建。保留预报的日志,使其可以被审计。
- 不要过度信任对罕见事件的预测。 对严重但不太可能的事件使用情景、压力测试和演练。
- 与决策闭环。 记录所作的决策和结果,并用它改进预报和决策规则。
与团队讨论的问题
我们今天基于对未来的猜测作出了哪些决策?有了更好的猜测,我们会有什么不同的做法? 列出它们:人员配置、容量、发布时机。预期有若干个。追问:选择一个并写下决策规则。
我们最近三次预报的准确度如何?我们是怎么发现的? 索要数字。预期没人检查过。追问:把过去的预报与实际值作比较,并商定保留日志。
对此,可能奏效的最简单的预报是什么?复杂模型要好到什么程度才值得采用? 建立基线。预期它表现得相当不错。追问:为采用任何更复杂的东西设定最低改进幅度。
我们知道哪些事件,是基于历史训练的模型所不知道的? 列出上线、截止日期和政策变化。预期有很多。追问:决定如何纳入它们,作为输入还是作为调整。
变更的风险评分将如何使用?误报与漏报的代价各是多少? 用具体的措辞讨论。预期看法不一。追问:商定一个阈值,并评审第一个月的结果。
AI 能在哪里帮助我们预报或预测?我们怎么知道它错了? AI 可以拟合复杂的模式,也可以编造模式。要求与基线作比较,并提供监控漂移的计划。追问:让 AI 预报与现有方法并行运行一个季度。
实践:一个服务管理示例
一家国家学生贷款机构运行着一个支持台,一年中大部分时间很安静,在年度申请截止日期前的两周则不堪重负。到目前为止,服务台主管靠回忆去年的经验再加一个余量来为高峰配备人员。两年前,服务台人手不足,而去年它在临时坐席上超支了。
服务分析师被要求改进预报,她从决策开始:提前六周预订多少坐席,以五个为单位,并在两周前作最后调整。她建立了一条基线:对过去四年的每一天,联系数量相对于距截止日期的天数,再按目前为止的申请人数缩放。在上一年留出的数据上,该基线在高峰周的误差是 18%。她尝试了一个更复杂的模型,增加了天气、社交媒体提及和星期几。在同一个留出的年份,它把误差改善到 15%,但在更早一年,它比基线更差,而没人能解释原因。她选择了基线,并对新申请人数做了一个简单的调整,向主管展示了一个区间:高峰周有 11,000 至 14,500 次联系,最可能为 12,500。
她询问业务方有哪些已知的事件。一份新的在线表单将在截止日期前两周上线,这可能增加或减少联系。她构建了两个情景:一个是表单使联系减少 15%,另一个是由于混乱而增加 10%。主管按区间的中间预订,并为较高的情景准备了一个待命的坐席池。分析师记录了预报、情景和决策。
变化在于:高峰周的实际联系数为 13,800,在区间之内,服务台达成目标而没有超支。仍然困难的是:表单上线确实增添了混乱,这只被较高的情景预见到;预报依赖的关于申请人的数据到得很晚;一位高级经理要求一个单一的数字,分析师连同区间一起给了他。她记录了误差,相对于最可能值为 10%,并计划将其与基线以及明年的作比较。
四种视角
产品与交付团队
及早告诉分析人员上线、变更和促销活动,因为它们会改变需求和风险。提供预测所需要的数据,并把风险评分用作提出问题的提示,而不是裁决。
服务与运维团队
用预报来规划人员和容量,并为较高的情景留出余量。报告预报在哪里错了以及为什么,使方法得以改进。
领导层与治理
索要决策、基线、区间和准确度的记录。接受不确定性。为数据和检查预报的时间出资。不要要求单一的数字。
客户与用户
当提供者为高峰和风险做好准备时,你会受益。把你自己可能影响需求的计划,比如促销活动,告诉提供者,并报告表明预报有偏差的问题。
敏捷、AI、自动化与分析
敏捷
把预报视为假设,经常刷新,并在每个时期之后检查。让干系人参与假设。注意:不断重新预报却不记录早先的预报,会隐藏它们错得有多离谱。
AI
AI 方法可以对许多变量和非结构化信号建模,并起草预报的摘要,需要审查。指定负责人,与基线作比较,并监控漂移。注意:没有区间或没有在留出数据上测试的 AI 预报,是一个外表光鲜的猜测。见主题 5.1 — 服务管理中的 AI。
自动化
自动化数据收集、预报运行和计划中的告警,并在安全时自动化诸如在预期负载之前扩容之类的行动,带有限制。注意:对错误预报采取的自动行动可能浪费金钱或造成伤害;设定界限并评审。见主题 6.1 — 自动化策略。
分析
度量预报误差、区间覆盖率、风险评分的校准,以及所作决策的价值。注意:平均误差低的模型可能在最关键的高峰上失效;在错误代价最高之处进行评估。见《服务管理度量》一书和主题 7.1 — 服务管理分析。
常见失败模式
- 不改变任何事情的预报。 没有决策依赖于它们。从决策开始。
- 有复杂模型而无基线。 它并不比简单的更好。始终比较。
- 过拟合和泄漏。 测试结果很好,现实很差。留出更晚的数据并检查输入。
- 单一数字。 虚假的精确。展示区间和情景。
- 忽视已知事件。 模型遗漏了一次上线。补上人们所知道的。
- 没有监控。 漂移未被察觉。随时间跟踪准确性。
- 信任对罕见事件的预测。 尾部风险被错误定价。使用情景和演练。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 决策与基线 | 凭猜测 | 一些预报 | 预报与指定的决策挂钩,并有基线 | 评审预报的价值 | 预报融入跨服务的规划 |
| 方法与验证 | 未经检查 | 基本方法 | 可解释的方法、回测和泄漏检查 | 比较并改进方法 | 在整个组合中选择并监控方法 |
| 不确定性 | 单一数字 | 一些区间 | 区间和情景成为标准 | 度量区间覆盖率和校准 | 不确定性在带限制的自动化决策中使用 |
| 监控 | 无 | 偶尔评审 | 跟踪准确性和漂移 | 依据证据触发再训练和重建 | 跨模型持续评估 |
检查清单
- 每项预报都指明它为之提供依据的决策和阈值。
- 我们把每个模型与简单的基线作比较。
- 我们在留出的更晚数据上验证,并检查泄漏。
- 我们报告区间,并在事件可能改变模式的地方使用情景。
- 来自业务方的已知事件被纳入或记录为调整。
- 风险评分的阈值由误报和漏报的代价决定,并且我们检查校准。
- 我们记录预报,与结果比较,并监控漂移。
- 对罕见而严重的事件,我们使用情景和演练。
AI 提示词
根据数据建立基线。
这是过去 [数量] 年 [量] 的月度计数:[粘贴]。
请描述趋势和季节性规律,为接下来的 [时期] 产出一个简单的基线预报(说明方法并展示计算),并根据往年的离散程度给出一个近似区间。不要使用需要我未提供的数据的方法。
请列出你不确定的事项。
检查预报报告。
这是一份预报报告以及它是如何构建的:[粘贴]。
请列出问题:没有与基线比较、没有在留出的数据上验证、可能的泄漏、没有区间的单一数字、遗漏的已知事件,以及比证据更强的主张。对每一项引用原文。不要重做预报。
请列出你不确定的事项。
起草情景。
决策:[描述]。不确定的事件:[描述]。我们已知的:[列表]。
请起草三个情景(低、中、高),说明每个情景背后的假设、如果它正在发生我们会及早看到什么,以及我们的计划会有什么不同。不要分配概率。
请列出你不确定的事项。
AI 技能
- demand-forecasting:用于带着明确的不确定性估计未来需求。
- capacity-planning:用于把预报转化为容量决策。
- trend-analysis:用于分析趋势和季节性。
- statistical-analysis:用于选择并检查方法。
- budget-forecasting:用于带着假设预报成本。
主要来源
- Rob J. Hyndman 和 George Athanasopoulos,Forecasting: Principles and Practice(可在 otexts.com/fpp3 免费在线阅读):关于预报方法的清晰、实用的教材。
- Nate Silver,The Signal and the Noise(2012):关于预测及其陷阱的易读论述。
- Wikipedia, "Forecasting" 和 "Overfitting":对这一领域及其主要陷阱的概述。
- Wikipedia, "Prediction interval":如何表达不确定性。
参考文献
- Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
- Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
- Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
- Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
- Exponential smoothing — Wikipedia — https://en.wikipedia.org/wiki/Exponential_smoothing
- Autoregressive integrated moving average — Wikipedia — https://en.wikipedia.org/wiki/Autoregressive_integrated_moving_average
- Overfitting — Wikipedia — https://en.wikipedia.org/wiki/Overfitting
- Backtesting — Wikipedia — https://en.wikipedia.org/wiki/Backtesting
- Prediction interval — Wikipedia — https://en.wikipedia.org/wiki/Prediction_interval
- Scenario planning — Wikipedia — https://en.wikipedia.org/wiki/Scenario_planning
- Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
- Base rate fallacy — Wikipedia — https://en.wikipedia.org/wiki/Base_rate_fallacy