予測分析と予測
需要、キャパシティ、インシデント、変更リスクの予測は、チームが備える助けになりますが、本質的に不確かです。まず単純なベースラインを使い、単一の数字ではなく範囲を示し、取り分けたデータで検証し、ドリフトを監視し、予測を作る前に判断のルールを明示してください。
なぜ重要か
サービスチームは常に何かに備えています。新学期の最初の週に何件の連絡が来るか。ストレージはいつ満杯になるか。どの変更がインシデントを引き起こしそうか。セールの間、何人がオンコールに就くべきか。人員、キャパシティ、リスクについての判断はすべて、誰かがそれを述べるかどうかにかかわらず、将来についての信念の上に成り立っています。
予測は、それらの信念を明示的で、テスト可能なものにします。範囲を伴う来月のチケット量の予測は、起きたことと比べ、改善できます。変更のリスクを採点するモデルは、失敗した変更と照らして確認できます。うまく行えば、これは直感を証拠に置き換えます。下手に行えば、直感を誤った自信に置き換えます。小数点以下二桁までの単一の数字で、誰も説明できないモデルが生み、科学的に見えるから信頼される。
予測は、ありふれた理由で誤ります。重要なパターンが過去に含まれていなかった。モデルがノイズに合わせている。公開、方針の変更、障害が、モデルが学習した関係を壊す。まれな事象が、よくある事象のために作られたツールで予測される。このトピックは、サービスマネジメントにおける予測と予測分析の主な種類、平易な言葉での手法、それらを誠実に保つ習慣を説明します。アナリティクス(トピック 7.1 — サービスマネジメントのためのアナリティクス)とキャパシティ計画(トピック 3.11 — 可用性、キャパシティ、パフォーマンス)を土台とし、AIOps(トピック 5.2 — AIOps)とクラウドの経済性(トピック 4.5 — 財務管理とFinOps)と関連します。
中核となる概念
予測(フォーキャスト)と予測(プレディクション)。 フォーキャストは、来月の需要のように、時間にわたる量の将来の値を見積もります。プレディクションは、変更が失敗するかのように、未知のものをより広く見積もります。Wikipediaが予測と予測分析を説明しています。どちらも過去のデータのパターンを使い、どちらも不確かです。
時系列。 規則的な間隔で記録されたデータです。Wikipediaが時系列分析を説明しています。日次のチケット数など、多くのサービスの量は、傾向(長期的な上昇または下降)、季節性(週次や年次のような規則的な周期)、ノイズを持つ時系列です。Wikipediaが季節性を説明しています。予測は、三つすべてを考慮する必要があります。
ベースライン。 機能しうる最も単純な予測です。「来週は今週のようになる」あるいは「今月は昨年の同じ月のようになり、成長分を調整する」。ベースラインは、意外なほど打ち負かしにくいものです。高度な手法は、常にベースラインと比較してください。明確に良くなければ、ベースラインを使います。
古典的な手法。 Wikipediaが説明する、指数平滑法や自己回帰和分移動平均(ARIMA)モデルのような技法は、多くの系列の傾向と季節性を扱い、より複雑なツールでもしばしば打ち負かせません。説明もしやすいです。
機械学習の手法。 回帰木やニューラルネットワークのように、多くの変数からパターンを学習する手法は、計画されたイベントのような追加の情報を使えます。Wikipediaが回帰分析と機械学習を一般に説明しています。関連するデータが豊富にあるときはうまく機能し、そうでないときは過学習しえます。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。
過学習と検証。 ノイズを含め、過去に近すぎるほど合わせたモデルは、新しいデータでは成績が悪くなります。Wikipediaが過学習を説明しています。防御は、Wikipediaが説明するように、モデルが見ていないデータを、別々の訓練、検証、テストの集合に取り分けておくことと、モデルを作るのに使った期間より後の期間でテストすることです。時系列では、これはバックテストと呼ばれ、Wikipediaが説明しています。
リーク。 インシデントが解決された後に埋められる項目のように、予測の時点では利用できない情報を、モデルの中で使うことです。Wikipediaが機械学習におけるリークを説明しています。印象的なテスト結果と、役に立たない予測を生みます。
不確かさと区間。 予測は数字ではなく、可能性の分布です。Wikipediaが説明する予測区間は、結果を述べられた確率で含むと期待される範囲を示します。「8,000から9,500件の間、最もありそうなのは8,700件」のように範囲を報告します。Wikipediaが説明するモンテカルロ法は、多くの可能な未来をシミュレートして範囲を示します。
シナリオ。 公開のように、判断や出来事に依存するものでは、Wikipediaが説明するシナリオプランニングが、単一の予測ではなく、もっともらしい少数の物語を作り、それぞれに計画を立てます。未来が過去と種類として異なりえるときに、シナリオを使います。
精度の指標。 一般的な指標は、Wikipediaが説明する平均絶対パーセント誤差や、述べられた範囲に収まる結果の割合のように、予測を結果と比べます。それぞれに弱点があります。パーセント誤差は、値がゼロに近いと不安定です。誤りがどのようにコストになるかに合う指標を選びます。
分類とリスクスコア。 変更が失敗する、チケットが目標を破るなど、何かが起きるかの予測は、スコアを生みます。Wikipediaは、そうした予測が誤りうる二つの形、つまり誤報と見逃しである適合率と再現率を説明しています。まれな事象ではこれが難しくなります。Wikipediaは基準率の誤謬を説明しており、事象がまれなとき、良さそうな検出器が、ほとんど誤報を生みます。しきい値を選ぶ前に、それぞれの種類の誤りのコストを決めます。
較正。 リスクスコアは、20パーセントと採点された項目のうち、約20パーセントが実際に起きるなら、較正されています。Wikipediaが統計における較正を説明しています。順位づけは優れていても較正されていないスコアは、それを確率として読む人々を誤解させえます。
ドリフト。 サービス、利用者、ツールが変わるにつれて、関係は変わります。Wikipediaがコンセプトドリフトを説明しています。昨年機能したモデルが、新しいプロダクトの公開の後に失敗することがあります。時間とともに精度を監視し、下がったら再訓練または再構築します。
まれで極端な事象。 通常の履歴で訓練されたモデルは、非常に異常な事象では成績が悪くなります。Wikipediaは、まれで影響の大きい事象は通常のデータから予測できないという考え方であるブラックスワン理論を説明しています。テールリスクについては、予測に頼らないでください。シナリオ、ストレステスト、リハーサルを使います。トピック 3.12 — サービス継続性管理を参照してください。
待ち行列とキャパシティ。 予測される需要は、キャパシティの判断に流れ込みます。Wikipediaが説明する待ち行列理論とリトルの法則は、需要、キャパシティ、待ちを関連づけます。トピック 3.11 — 可用性、キャパシティ、パフォーマンスとトピック 2.3 — フローとカンバンを参照してください。
まず判断。 予測は、判断を変える場合にだけ有用です。作る前に、それが情報を与える判断、行動のしきい値、各時点で何をするかを書きます。何も変わらないなら、予測しないでください。
人の判断。 人々は、どのモデルも見たことのない、公開、方針の変更、イベントを知っています。モデルの出力を判断と組み合わせ、調整を記録し、後でそれが役立ったかを確認します。
レンズはどう当てはまるか。 予測は、アナリティクスの未来志向の側です。アジャイルのプラクティスは、予測を仮説として扱い、頻繁に更新します。AIの技法は、レビューのもとで、上記の注意を伴って、予測できる範囲を広げます。自動化は、需要に先んじたスケーリングのような予測に基づく行動を、制限を伴って行えます。
ベストプラクティス
- まず判断としきい値を述べる。 予測の各範囲がどんな行動を引き起こし、誰が決めるかを書きます。何も変えない予測は飛ばします。
- ベースラインから始める。 成長分を調整した昨年のパターンのような、単純な予測を作り、その誤差を測ります。それを超えるべき基準として使います。
- 説明できる手法を好む。 取り分けたデータで複雑な手法が明確に優れていない限り、古典的な手法や単純なモデルを使います。予測を何が駆動するかを、平易な言葉で言えるようにします。
- 正直に検証する。 最新の期間を取り分け、複数の期間でバックテストを行い、リークを確認します。モデルが見ていないデータでの誤差を報告します。
- 範囲とシナリオを示す。 最もありそうな値ともっともらしい範囲を示します。出来事がパターンを変えうるところではシナリオを使います。誤った精密さを示してはいけません。
- 既知のイベントを含める。 それを知る人々から、公開、期限、休日、キャンペーンを加えます。判断で行った調整を記録します。
- しきい値を誤りのコストに合わせる。 リスクスコアでは、誤報と見逃しのコストを決め、それに応じてしきい値を設定し、較正を確認します。
- 精度とドリフトを監視する。 各予測を結果と比べ、時間とともに誤差を追跡し、精度が下がったら再訓練または再構築します。監査できるよう、予測のログを保ちます。
- まれな事象の予測を過信しない。 深刻だがありそうにない事象には、シナリオ、ストレステスト、リハーサルを使います。
- 判断とループを閉じる。 下された判断と結果を記録し、予測と判断のルールの改善に使います。
チームで話し合うための問い
私たちが今日、将来についての推測に基づいて行っている判断は何で、より良い推測があれば何を変えるか。 人員配置、キャパシティ、リリースのタイミングを一覧にします。いくつか予想されます。さらに掘り下げるために、ひとつを選び、判断のルールを書きます。
直近三回の予測はどれくらい正確で、どうやってそれを知ったか。 数字を求めてください。誰も確認していないと予想できます。さらに掘り下げるために、過去の予測を実績と比べ、ログを保つことを合意します。
これに機能しうる最も単純な予測は何で、複雑なモデルを正当化するには、どれだけ良くなければならないか。 ベースラインを作ります。それがまずまずの成績を出すと予想できます。さらに掘り下げるために、より複雑なものを採用する最小の改善幅を設定します。
履歴で訓練されたモデルが知らない、私たちが知っているイベントは何か。 公開、期限、方針の変更を一覧にします。多くが予想されます。さらに掘り下げるために、入力として、あるいは調整として、それらをどう含めるかを決めます。
変更のリスクスコアはどう使われ、誤報と見逃しのコストはそれぞれ何か。 具体的な言葉で議論します。異なる見解が予想されます。さらに掘り下げるために、しきい値と、最初の月の結果のレビューを合意します。
AIは予測にどこで役立ち、それが誤っていることをどう知るか。 AIは複雑なパターンに合わせることができ、それを捏造することもできます。ベースラインとの比較と、ドリフトの監視の計画を尋ねてください。さらに掘り下げるために、一四半期、現在の手法と並行してAIの予測を走らせます。
実践:サービスマネジメントの例
ある国の学生ローン機関は、一年の大半は静かで、年次の申請期限の前の二週間は圧倒されるサポートデスクを運営しています。これまで、デスクの責任者は、昨年の経験を思い出し、余裕を加えて、ピークの人員を決めてきました。二年前はデスクの人員が不足し、昨年は臨時のエージェントに使いすぎました。
予測の改善を求められたサービスアナリストは、判断から始めます。六週間前に、五人単位で何人のエージェントを手配するか、二週間前に最終調整をする。彼女はベースラインを作ります。過去四年の各日について、期限までの日数に対する連絡件数を、これまでの申請者数でスケーリングしたもの。前年の取り分けたデータで、ベースラインのピーク週の誤差は18パーセントです。彼女は、天気、ソーシャルメディアでの言及、曜日を加えた、より複雑なモデルを試します。同じ取り分けた前年で、誤差は15パーセントに改善しますが、その前の年ではベースラインより悪く、なぜか誰も説明できません。彼女は、新規申請者の数に対する単純な調整を加えたベースラインを選び、責任者に範囲を示します。ピーク週に11,000件から14,500件、最もありそうなのは12,500件。
彼女は事業側に、既知のイベントを尋ねます。期限の二週間前に新しいオンラインフォームが公開され、連絡が増えることも減ることもありえます。彼女は二つのシナリオを作ります。フォームが連絡を15パーセント減らすもの、混乱のために10パーセント加えるもの。責任者は範囲の中ほどに合わせて手配し、上側のシナリオのためにエージェントのオンコールのプールを置きます。アナリストは、予測、シナリオ、判断を記録します。
何が変わったか。ピーク週の実際の連絡は13,800件で、範囲内に収まり、デスクは使いすぎることなく目標を満たしました。何がまだ難しいか。フォームの公開は実際に混乱を加えましたが、それを予期していたのは上側のシナリオだけでした。予測は、遅れて届く申請者についてのデータに依存します。上級管理職は単一の数字を求め、アナリストは範囲とともにそれを示しました。彼女は誤差を、最もありそうな値に対して10パーセントと記録し、ベースラインや来年のものと比べることを計画しています。
四つの視点
プロダクトとデリバリーのチーム
公開、変更、キャンペーンは需要とリスクを動かすため、早めにアナリストに伝えましょう。予測が必要とするデータを提供し、リスクスコアを、評決ではなく問いのきっかけとして使ってください。
サービスと運用のチーム
上側のシナリオのための余裕を持って、予測を人員とキャパシティの計画に使いましょう。予測が外れたところとその理由を報告し、手法が改善されるようにしてください。
リーダーシップとガバナンス
判断、ベースライン、範囲、精度の実績を求めましょう。不確かさを受け入れます。データと、予測を確認する時間に資金を出してください。単一の数字を要求してはいけません。
顧客とユーザー
提供者がピークとリスクに備えるとき、恩恵を受けます。キャンペーンなど、需要に影響しうる自分自身の計画を提供者に伝え、予測が外れていたことを示す問題を報告しましょう。
アジャイル、AI、自動化、アナリティクス
アジャイル
予測を仮説として扱い、頻繁に更新し、各期間の後に確認します。前提にステークホルダーを関わらせます。注意:以前の予測を記録せずに絶えず再予測すると、どれだけ外れていたかが隠れます。
AI
AIの手法は、多くの変数と非構造のシグナルをモデル化し、予測の要約を下書きでき、レビューのもとで使われます。オーナーを指名し、ベースラインと比べ、ドリフトを監視します。注意:範囲も取り分けたデータでのテストもないAIの予測は、磨かれた表面を持つ推測です。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。
自動化
データの収集、予測の実行、スケジュールされたアラートを自動化し、安全なところでは、予想される負荷に先んじたスケーリングのような行動を、制限を伴って自動化します。注意:誤った予測に基づく自動の行動は、お金を無駄にしたり害を及ぼしたりしえます。境界を設定し、レビューしてください。トピック 6.1 — 自動化戦略を参照してください。
アナリティクス
予測の誤差、区間のカバー率、リスクスコアの較正、下された判断の価値を測ります。注意:平均誤差の低いモデルが、最も重要なピークで失敗することがあります。誤りのコストが最も大きいところで評価してください。『サービスマネジメント指標』とトピック 7.1 — サービスマネジメントのためのアナリティクスを参照してください。
よくある失敗パターン
- 何も変えない予測。 それに依存する判断がありません。判断から始めましょう。
- ベースラインのない複雑なモデル。 単純なものより優れていません。常に比べましょう。
- 過学習とリーク。 テスト結果は素晴らしくても、現実は悪い。後のデータを取り分け、入力を確認しましょう。
- 単一の数字。 誤った精密さです。範囲とシナリオを示しましょう。
- 既知のイベントの無視。 モデルが公開を見逃します。人々が知っていることを加えましょう。
- 監視がない。 ドリフトが気づかれません。時間とともに精度を追跡しましょう。
- まれな事象の予測を信頼する。 テールリスクが誤って見積もられます。シナリオとリハーサルを使いましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| 判断とベースライン | 当て推量 | 一部に予測がある | 名前の付いた判断とベースラインに結び付いた予測がある | 予測の価値がレビューされる | 予測がサービスをまたいで計画に統合される |
| 手法と検証 | 確認されていない | 基本的な手法 | 説明可能な手法、バックテスト、リークのチェックがある | 手法が比較され、改善される | 手法がポートフォリオ全体で選ばれ、監視される |
| 不確かさ | 単一の数字 | 一部に範囲がある | 範囲とシナリオが標準 | 区間のカバー率と較正が測定される | 不確かさが制限を伴う自動の判断で使われる |
| 監視 | なし | 時折のレビュー | 精度とドリフトが追跡される | 再訓練と再構築が証拠によって引き起こされる | モデルをまたいだ継続的な評価がある |
チェックリスト
- 各予測が、それが情報を与える判断としきい値を挙げている。
- すべてのモデルを単純なベースラインと比べている。
- 取り分けた後のデータで検証し、リークを確認している。
- 範囲を報告し、出来事がパターンを変えうるところではシナリオを使っている。
- 事業側からの既知のイベントが含まれるか、調整として記録されている。
- リスクスコアのしきい値が、誤報と見逃しのコストで設定され、較正を確認している。
- 予測を記録し、結果と比べ、ドリフトを監視している。
- まれで深刻な事象に、シナリオとリハーサルを使っている。
AIプロンプト
データからベースラインを作る。
Here is a monthly count of [quantity] for the last [number] years: [paste].
Describe the trend and seasonal pattern, produce a simple baseline forecast for the next [period] (state the method and show the calculation), and give an approximate range based on the spread in past years. Do not use any method that needs data I have not provided.
List what you are unsure of.
予測レポートを確認する。
Here is a forecast report and how it was built: [paste].
List problems: no baseline comparison, no validation on held-back data, possible leakage, single numbers without ranges, missing known events, and claims that are stronger than the evidence. Quote the text for each. Do not redo the forecast.
List what you are unsure of.
シナリオを下書きする。
The decision: [describe]. The uncertain event: [describe]. What we know: [list].
Draft three scenarios (low, middle, high) with the assumption behind each, what we would see early if it were happening, and how our plan would differ. Do not assign probabilities.
List what you are unsure of.
AIスキル
- demand-forecasting: 不確かさを明示して将来の需要を見積もるときに使います。
- capacity-planning: 予測をキャパシティの判断に変えるときに使います。
- trend-analysis: 傾向と季節性を分析するときに使います。
- statistical-analysis: 手法を選び、確認するときに使います。
- budget-forecasting: 前提を添えてコストを予測するときに使います。
主要な情報源
- Rob J. Hyndman and George Athanasopoulos, Forecasting: Principles and Practice (free online at otexts.com/fpp3): 予測手法についての、明快で実践的な教科書。
- Nate Silver, The Signal and the Noise (2012): 予測とその落とし穴についての読みやすい解説。
- Wikipedia, "Forecasting" and "Overfitting": 分野とその主な罠の概観。
- Wikipedia, "Prediction interval": 不確かさの表し方。
参考文献
- Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
- Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
- Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
- Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
- Exponential smoothing — Wikipedia — https://en.wikipedia.org/wiki/Exponential_smoothing
- Autoregressive integrated moving average — Wikipedia — https://en.wikipedia.org/wiki/Autoregressive_integrated_moving_average
- Overfitting — Wikipedia — https://en.wikipedia.org/wiki/Overfitting
- Backtesting — Wikipedia — https://en.wikipedia.org/wiki/Backtesting
- Prediction interval — Wikipedia — https://en.wikipedia.org/wiki/Prediction_interval
- Scenario planning — Wikipedia — https://en.wikipedia.org/wiki/Scenario_planning
- Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
- Base rate fallacy — Wikipedia — https://en.wikipedia.org/wiki/Base_rate_fallacy