为什么这很重要

服务团队总是在为某件事做准备。新学期的第一周会来多少联系?存储什么时候会满?哪些变更可能引发事件?促销期间应当安排多少人值班?关于人员、容量和风险的决定,都建立在对未来的信念之上,无论是否有人把它说出来。

预测使这些信念变得明确且可检验。对下个月工单量的预报,带有区间,可以与实际发生的情况作比较并加以改进。为变更风险评分的模型,可以对照失败的变更来检查。做得好,它用证据取代了直觉。做得不好,它用虚假的自信取代了直觉:一个精确到两位小数的单一数字,由一个没人能解释的模型产生,因为看起来科学而被信任。

预测出错的原因很平常。过去并不包含重要的模式。模型拟合了噪音。一次上线、一项政策变化或一次中断,打破了模型所学到的关系。用为常见事件打造的工具去预测一件罕见的事件。本主题描述服务管理中预报和预测的主要种类、通俗易懂的方法,以及让它们保持诚实的习惯。它建立在分析(主题 7.1 — 服务管理分析)和容量规划(主题 3.11 — 可用性、容量与性能)之上,并与 AIOps(主题 5.2 — AIOps)以及云的经济性(主题 4.5 — 财务管理与 FinOps)相关。

核心概念

预报与预测。 预报估计某个量随时间的未来值,比如下个月的需求。预测则更广泛地估计一个未知量,比如一项变更是否会失败。维基百科描述了预报(forecasting)和预测分析(predictive analytics)。两者都利用过去数据中的模式,两者都是不确定的。

时间序列。 按固定间隔记录的数据。维基百科描述了时间序列分析(time series analysis)。许多服务量,比如每日工单数,是带有趋势(长期的上升或下降)、季节性(有规律的周期,比如每周或每年的)和噪音的时间序列。维基百科描述了季节性(seasonality)。预报需要兼顾这三者。

基线。 可能奏效的最简单的预报:“下周会和这周一样”,或者“这个月会和去年同月一样,再按增长调整”。基线出奇地难以超越。始终将复杂的方法与基线作比较;如果它没有明显更好,就用基线。

经典方法。 指数平滑和自回归积分滑动平均(ARIMA)模型等技术(维基百科有描述),能处理许多序列的趋势和季节性,往往难以被更复杂的工具超越。它们也更容易解释。

机器学习方法。 从许多变量中学习模式的方法,比如回归树或神经网络,可以使用额外的信息,比如计划中的事件。维基百科一般性地描述了回归分析(regression analysis)和机器学习。当有大量相关数据时,它们可以做得很好,而在没有时可能过拟合。见主题 5.1 — 服务管理中的 AI。

过拟合与验证。 与过去匹配得太紧密、包括其噪音的模型,在新数据上表现不佳。维基百科描述了过拟合(overfitting)。防御办法是留出模型没见过的数据,分成独立的训练集、验证集和测试集(如维基百科所述),并在比构建模型所用时期更晚的时期上测试。对于时间序列,这称为回测,维基百科对此有描述(backtesting)。

泄漏。 在模型中使用了预测时本不可得的信息,比如事件解决后才填写的字段。维基百科描述了机器学习中的泄漏(leakage)。它会产生令人印象深刻的测试结果和无用的预报。

不确定性与区间。 预报是可能性的分布,而不是一个数字。预测区间(prediction interval,维基百科有描述)给出一个以所述概率预期包含结果的范围。报告区间,比如“8,000 至 9,500 次联系,最可能为 8,700”。维基百科描述的蒙特卡洛方法(Monte Carlo methods)模拟许多种可能的未来,以显示一个范围。

情景。 对于取决于决策或事件的东西,比如一次上线,情景规划(scenario planning,维基百科有描述)发展出几个合理的故事并为每个做计划,而不是一个预报。当未来可能在性质上不同于过去时,使用情景。

准确度度量。 常见的度量将预报与结果作比较,比如平均绝对百分比误差(维基百科有描述),以及落在所述区间内的结果所占的份额。每一种都有弱点:当数值接近零时,百分比误差不稳定。选择与错误给你带来的代价相匹配的度量。

分类与风险评分。 预测某事是否会发生,比如一项变更是否会失败,或一张工单是否会违反目标,会产生一个评分。维基百科描述了精确率和召回率(precision and recall),即这类预测可能出错的两种方式:误报和漏报。罕见事件使之变得困难:维基百科描述的基础比率谬误(base rate fallacy)是指,当事件罕见时,一个看似良好的检测器产生的大多是误报。在选择阈值之前,先决定每种错误的代价。

校准。 如果在评分为 20% 的条目中,大约有 20% 确实发生了,则风险评分是经过校准的。维基百科描述了统计中的校准(calibration)。排序良好但没有校准的评分,可能误导那些把它当作概率来读的人。

漂移。 随着服务、用户和工具的变化,关系也在变化。维基百科描述了概念漂移(concept drift)。去年奏效的模型,在新产品上线后可能失效。随时间监控准确性,并在其下降时再训练或重建。

罕见与极端事件。 在普通历史上训练的模型,对非常不寻常的事件表现不佳。维基百科描述了黑天鹅理论(black swan theory),即罕见而影响巨大的事件无法根据普通数据预测。不要依赖预报来应对尾部风险;使用情景、压力测试和演练。见主题 3.12 — 服务连续性管理。

排队与容量。 预测的需求为容量决策提供依据。排队论和利特尔法则(维基百科有描述)把需求、容量和等待联系起来。见主题 3.11 — 可用性、容量与性能和主题 2.3 — 流动与看板。

决策优先。 只有当预报改变决策时才有用。在构建之前,写下它为之提供依据的决策、行动阈值,以及在每个阈值上你将做什么。如果什么都不会改变,就不要预报。

人的判断。 人们了解模型没见过的上线、政策变化和事件。把模型输出与判断结合起来,记录所作的调整,并事后检查它们是否有帮助。

这些视角如何契合。 预测是分析面向未来的一侧。敏捷实践把预报视为假设,并经常刷新。AI 技术扩展了可预测的范围,需要审查,并附带上述注意事项。自动化可以依据预测采取行动,比如在需求之前扩容,并带有限制。

最佳实践

  1. 先说明决策和阈值。 写下预报的每个区间会触发什么行动,以及由谁决定。跳过那些不会改变任何事情的预报。
  2. 从基线开始。 构建一个简单的预报,比如去年的模式再按增长调整,并度量它的误差。把它用作要超越的标准。
  3. 倾向于你能解释的方法。 使用经典方法或简单模型,除非复杂的方法在留出的数据上明显更好。要能用通俗的话说出是什么驱动着预报。
  4. 诚实地验证。 留出最近的时期,跨若干时期回测,并检查泄漏。报告模型没见过的数据上的误差。
  5. 展示区间和情景。 给出最可能的值和一个合理的区间。在事件可能改变模式的地方使用情景。不要呈现虚假的精确。
  6. 纳入已知的事件。 从了解它们的人那里增加上线、截止日期、假日和促销活动。记录通过判断所作的调整。
  7. 让阈值与错误的代价相匹配。 对于风险评分,决定误报和漏报的代价,据此设定阈值,并检查校准。
  8. 监控准确性和漂移。 把每次预报与结果比较,随时间跟踪误差,并在准确性下降时再训练或重建。保留预报的日志,使其可以被审计。
  9. 不要过度信任对罕见事件的预测。 对严重但不太可能的事件使用情景、压力测试和演练。
  10. 与决策闭环。 记录所作的决策和结果,并用它改进预报和决策规则。

与团队讨论的问题

我们今天基于对未来的猜测作出了哪些决策?有了更好的猜测,我们会有什么不同的做法? 列出它们:人员配置、容量、发布时机。预期有若干个。追问:选择一个并写下决策规则。

我们最近三次预报的准确度如何?我们是怎么发现的? 索要数字。预期没人检查过。追问:把过去的预报与实际值作比较,并商定保留日志。

对此,可能奏效的最简单的预报是什么?复杂模型要好到什么程度才值得采用? 建立基线。预期它表现得相当不错。追问:为采用任何更复杂的东西设定最低改进幅度。

我们知道哪些事件,是基于历史训练的模型所不知道的? 列出上线、截止日期和政策变化。预期有很多。追问:决定如何纳入它们,作为输入还是作为调整。

变更的风险评分将如何使用?误报与漏报的代价各是多少? 用具体的措辞讨论。预期看法不一。追问:商定一个阈值,并评审第一个月的结果。

AI 能在哪里帮助我们预报或预测?我们怎么知道它错了? AI 可以拟合复杂的模式,也可以编造模式。要求与基线作比较,并提供监控漂移的计划。追问:让 AI 预报与现有方法并行运行一个季度。

实践:一个服务管理示例

一家国家学生贷款机构运行着一个支持台,一年中大部分时间很安静,在年度申请截止日期前的两周则不堪重负。到目前为止,服务台主管靠回忆去年的经验再加一个余量来为高峰配备人员。两年前,服务台人手不足,而去年它在临时坐席上超支了。

服务分析师被要求改进预报,她从决策开始:提前六周预订多少坐席,以五个为单位,并在两周前作最后调整。她建立了一条基线:对过去四年的每一天,联系数量相对于距截止日期的天数,再按目前为止的申请人数缩放。在上一年留出的数据上,该基线在高峰周的误差是 18%。她尝试了一个更复杂的模型,增加了天气、社交媒体提及和星期几。在同一个留出的年份,它把误差改善到 15%,但在更早一年,它比基线更差,而没人能解释原因。她选择了基线,并对新申请人数做了一个简单的调整,向主管展示了一个区间:高峰周有 11,000 至 14,500 次联系,最可能为 12,500。

她询问业务方有哪些已知的事件。一份新的在线表单将在截止日期前两周上线,这可能增加或减少联系。她构建了两个情景:一个是表单使联系减少 15%,另一个是由于混乱而增加 10%。主管按区间的中间预订,并为较高的情景准备了一个待命的坐席池。分析师记录了预报、情景和决策。

变化在于:高峰周的实际联系数为 13,800,在区间之内,服务台达成目标而没有超支。仍然困难的是:表单上线确实增添了混乱,这只被较高的情景预见到;预报依赖的关于申请人的数据到得很晚;一位高级经理要求一个单一的数字,分析师连同区间一起给了他。她记录了误差,相对于最可能值为 10%,并计划将其与基线以及明年的作比较。

四种视角

产品与交付团队

及早告诉分析人员上线、变更和促销活动,因为它们会改变需求和风险。提供预测所需要的数据,并把风险评分用作提出问题的提示,而不是裁决。

服务与运维团队

用预报来规划人员和容量,并为较高的情景留出余量。报告预报在哪里错了以及为什么,使方法得以改进。

领导层与治理

索要决策、基线、区间和准确度的记录。接受不确定性。为数据和检查预报的时间出资。不要要求单一的数字。

客户与用户

当提供者为高峰和风险做好准备时,你会受益。把你自己可能影响需求的计划,比如促销活动,告诉提供者,并报告表明预报有偏差的问题。

敏捷、AI、自动化与分析

敏捷

把预报视为假设,经常刷新,并在每个时期之后检查。让干系人参与假设。注意:不断重新预报却不记录早先的预报,会隐藏它们错得有多离谱。

AI

AI 方法可以对许多变量和非结构化信号建模,并起草预报的摘要,需要审查。指定负责人,与基线作比较,并监控漂移。注意:没有区间或没有在留出数据上测试的 AI 预报,是一个外表光鲜的猜测。见主题 5.1 — 服务管理中的 AI。

自动化

自动化数据收集、预报运行和计划中的告警,并在安全时自动化诸如在预期负载之前扩容之类的行动,带有限制。注意:对错误预报采取的自动行动可能浪费金钱或造成伤害;设定界限并评审。见主题 6.1 — 自动化策略。

分析

度量预报误差、区间覆盖率、风险评分的校准,以及所作决策的价值。注意:平均误差低的模型可能在最关键的高峰上失效;在错误代价最高之处进行评估。见《服务管理度量》一书和主题 7.1 — 服务管理分析。

常见失败模式

  • 不改变任何事情的预报。 没有决策依赖于它们。从决策开始。
  • 有复杂模型而无基线。 它并不比简单的更好。始终比较。
  • 过拟合和泄漏。 测试结果很好,现实很差。留出更晚的数据并检查输入。
  • 单一数字。 虚假的精确。展示区间和情景。
  • 忽视已知事件。 模型遗漏了一次上线。补上人们所知道的。
  • 没有监控。 漂移未被察觉。随时间跟踪准确性。
  • 信任对罕见事件的预测。 尾部风险被错误定价。使用情景和演练。

成熟度模型

维度 起步 发展 标准化 管理 协同
决策与基线 凭猜测 一些预报 预报与指定的决策挂钩,并有基线 评审预报的价值 预报融入跨服务的规划
方法与验证 未经检查 基本方法 可解释的方法、回测和泄漏检查 比较并改进方法 在整个组合中选择并监控方法
不确定性 单一数字 一些区间 区间和情景成为标准 度量区间覆盖率和校准 不确定性在带限制的自动化决策中使用
监控 无 偶尔评审 跟踪准确性和漂移 依据证据触发再训练和重建 跨模型持续评估

检查清单

  • 每项预报都指明它为之提供依据的决策和阈值。
  • 我们把每个模型与简单的基线作比较。
  • 我们在留出的更晚数据上验证,并检查泄漏。
  • 我们报告区间,并在事件可能改变模式的地方使用情景。
  • 来自业务方的已知事件被纳入或记录为调整。
  • 风险评分的阈值由误报和漏报的代价决定,并且我们检查校准。
  • 我们记录预报,与结果比较,并监控漂移。
  • 对罕见而严重的事件,我们使用情景和演练。

AI 提示词

根据数据建立基线。

这是过去 [数量] 年 [量] 的月度计数:[粘贴]。
请描述趋势和季节性规律,为接下来的 [时期] 产出一个简单的基线预报(说明方法并展示计算),并根据往年的离散程度给出一个近似区间。不要使用需要我未提供的数据的方法。
请列出你不确定的事项。

检查预报报告。

这是一份预报报告以及它是如何构建的:[粘贴]。
请列出问题:没有与基线比较、没有在留出的数据上验证、可能的泄漏、没有区间的单一数字、遗漏的已知事件,以及比证据更强的主张。对每一项引用原文。不要重做预报。
请列出你不确定的事项。

起草情景。

决策:[描述]。不确定的事件:[描述]。我们已知的:[列表]。
请起草三个情景(低、中、高),说明每个情景背后的假设、如果它正在发生我们会及早看到什么,以及我们的计划会有什么不同。不要分配概率。
请列出你不确定的事项。

AI 技能

主要来源

  • Rob J. Hyndman 和 George Athanasopoulos,Forecasting: Principles and Practice(可在 otexts.com/fpp3 免费在线阅读):关于预报方法的清晰、实用的教材。
  • Nate Silver,The Signal and the Noise(2012):关于预测及其陷阱的易读论述。
  • Wikipedia, "Forecasting" 和 "Overfitting":对这一领域及其主要陷阱的概述。
  • Wikipedia, "Prediction interval":如何表达不确定性。

参考文献

  1. Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
  2. Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
  3. Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
  4. Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
  5. Exponential smoothing — Wikipedia — https://en.wikipedia.org/wiki/Exponential_smoothing
  6. Autoregressive integrated moving average — Wikipedia — https://en.wikipedia.org/wiki/Autoregressive_integrated_moving_average
  7. Overfitting — Wikipedia — https://en.wikipedia.org/wiki/Overfitting
  8. Backtesting — Wikipedia — https://en.wikipedia.org/wiki/Backtesting
  9. Prediction interval — Wikipedia — https://en.wikipedia.org/wiki/Prediction_interval
  10. Scenario planning — Wikipedia — https://en.wikipedia.org/wiki/Scenario_planning
  11. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
  12. Base rate fallacy — Wikipedia — https://en.wikipedia.org/wiki/Base_rate_fallacy