なぜ重要か

サービスチームは大量のデータを生み出します。チケット、ログ、メトリクス、調査、変更記録、コストレポート。その大半は使われないままか、判断に結び付けられないダッシュボードに要約されます。レポートは、クローズしたチケットのような活動を述べ、顧客が良くなったかについてはほとんど何も語りません。

アナリティクスは、データから答えを得る規律です。Wikipediaは、アナリティクスを、データ内の意味のあるパターンの発見、解釈、伝達と説明しています。サービスマネジメントでは、需要がどこから来るか、インシデントがなぜ再発するか、仕事がどこで待つか、どの変更がリスクを伴うか、改善が役立ったかを示せます。誤解を招くこともあります。偏ったサンプル、偶然、静かに変わった定義の上に成り立っていながら、チャートが権威あるものに見えることがあります。

このトピックは、第7部への入口です。アナリティクスの種類、健全な分析のステップ、慎重な人さえ捉える落とし穴を説明します。指標の定義は姉妹書『サービスマネジメント指標』に任せ、基盤(トピック 7.2 — データ基盤とデータガバナンス)、測定(トピック 7.3 — 測定とレポート)、オブザーバビリティ(トピック 7.4 — オブザーバビリティとテレメトリ)、予測(トピック 7.5 — 予測分析と予測)、フロー(トピック 7.6 — プロセスとバリューストリームの分析)、体験(トピック 7.7 — 体験とセンチメントの分析)については、次のトピックを示します。最新のITILバージョンについての所有者の説明は、測定可能な成果を強調しており(トピック 1.3 — ITIL 5を参照)、それは、うまく行われたアナリティクスに依存します。

中核となる概念

四種類のアナリティクス。 一般的な枠組みは、次を区別します。

種類 問い サービスの仕事での例
記述的 何が起きたか サービスごとの月次のインシデント
診断的 なぜ起きたか 繰り返されるインシデントの共通点
予測的 何が起きそうか 来四半期のチケット量の予測
処方的 何をすべきか 目標を最小のコストで満たす人員水準

Wikipediaが記述的、予測的、処方的なアナリティクスを説明しています。それぞれが前のものの上に築かれます。多くのサービスチームは、最初の二つをうまく行うことから最も多くの価値を得るでしょう。

問いから始める。 分析は、夜間シフトに人員を加えるべきかのように、誰かが下す必要のある判断から始まり、それをデータが答えられる問いに変えます。問いがなければ、分析は何か面白いものを探すことになり、Wikipediaのデータ浚渫の記事は、それがいかにして偶然にすぎないパターンを見つけるかを説明しています。

データ。 何を持っていて、どこから来て、どう記録され、何を除外しているかです。チケットのデータは、人々が報告することを選んだものと、エージェントがどう分類したかを示すのであって、起きたことのすべてではありません。トピック 7.2 — データ基盤とデータガバナンスを参照してください。Wikipediaは、データ品質を利用への適合性と説明しています。

記述統計。 件数、中央値、パーセンタイル、ばらつきのような要約です。Wikipediaが記述統計を説明しています。サービスのデータでは、長い尾を隠す平均より、中央値とパーセンタイルのほうが通常有用であり、Wikipediaが説明する外れ値は、自動的に取り除くのではなく、見る価値があります。

探索的分析。 アイデアをテストする前に、データの形、質、驚きを見ることです。Wikipediaが探索的データ分析を説明しています。欠損値をゼロとして扱うような、愚かな間違いを防ぎます。

サンプリングとバイアス。 ほとんどの分析はサンプルを使い、サンプルは誤解を招きえます。Wikipediaがサンプリングと選択バイアスを説明しています。調査の回答は答える人から、サポートチケットは連絡する人から来ます。同じく説明される生存者バイアスは、残ったもの、たとえば残った顧客だけを研究するときに生じます。

相関と因果。 二つのものが一緒に動いても、一方が他方を引き起こすとは限りません。Wikipediaは、その問題を「相関は因果を意味しない」の項で、第三の要因が両方を駆動する交絡とともに説明しています。チケット量とサーバー数は、事業が成長したために、ともに増えるかもしれません。因果の主張には、チャート以上のものが必要です。統制された比較、あるいは代替案についての慎重な推論。Wikipediaは、因果を知る方法として、因果推論とA/Bテストを説明しています。

パラドックスと落とし穴。 Wikipediaが説明するシンプソンのパラドックスは、複数のグループに現れる傾向が、グループを合わせると逆転するケースです。同じく説明される基準率の誤謬は、あるものがどれだけ一般的かを無視する誤りで、まれな事象の優れた検出器が、ほとんど誤報を生むことになります。そうした落とし穴を知っていることは防御になります。

統計的有意性と不確かさ。 結果は、述べられた前提のもとで、偶然だけでは起こりにくいとき「有意」です。Wikipediaが仮説検定と信頼区間を説明しています。有意性は重要性ではありません。大きなデータセットでは小さな効果が有意になりえ、小さなものでは大きな効果が不確かでありえます。単一の数字だけでなく、範囲を示します。

可視化。 チャートは人々がパターンを見る助けになり、悪いチャートは誤解を招きます。Wikipediaがデータと情報の可視化を説明しています。問いに合った形を選び、軸と単位にラベルを付け、尺度を誠実に始め、不確かさを示します。Wikipediaが主要な情報の視覚的な表示と説明するダッシュボードは、判断に役立ち、数が少ないべきです。

時系列。 サービスのデータの多くは、傾向、季節的なパターン、突然のシフトを伴って、時間とともに記録されます。Wikipediaが時系列分析を説明しています。同じものどうしを比べます。今回の月曜を他の月曜と。トピック 7.5 — 予測分析と予測を参照してください。

モデルと機械学習。 統計モデルと機械学習モデルは、予測し、分類し、クラスタリングできます。訓練データとテストデータ、検証、ドリフトの監視が必要です。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。モデルは真実の源ではなく、前提を持つツールです。

グッドハートの法則。 指標が目標になると、良い指標でなくなります。Wikipediaがこの法則を説明しています。人やチームを評価するために使われるアナリティクスは、結果ではなく数字を改善する行動の変化を招きます。指標を学ぶために使い、他と組にし、それぞれがどう操作されうるかを述べます。『サービスマネジメント指標』を参照してください。

倫理とプライバシー。 エージェントの生産性や利用者の行動のような人についてのアナリティクスは、同意、公平性、釣り合いの問いを提起します。Wikipediaは、プライバシーとアルゴリズムバイアスを別の箇所で説明しています。必要なものだけを集め、可能なところでは集計し、何をなぜ分析するかをオープンにします。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。

伝達。 誰も理解しない分析は、何も変えません。問い、答え、確信度、限界、推奨される判断を、平易な言葉で、役立つところではチャートとともに述べます。

レンズはどう当てはまるか。 アナリティクスは四つ目のレンズで、他の三つに奉仕します。アジャイルのプラクティスは、変更が役立ったかを確認するのに使います。AIはデータを燃料とし、レビューのもとで分析を速められます。自動化はデータを生み、それに基づいて行動します。洞察を変化に変えるには、アナリティクスにも最初の三つのレンズが必要です。

ベストプラクティス

  1. 判断から始める。 誰が何をいつまでに決め、どんな証拠なら考えを変えるかを書きます。分析をそれに合わせて形づくります。
  2. 判断を、正確な問いに変える。 データに触れる前に、「解決」や「繰り返しのインシデント」のような用語、母集団、期間を定義します。
  3. データを知る。 情報源、記録の作られ方、既知のギャップ、時間とともに定義が変わった点を文書化します。サンプルを現実と突き合わせます。
  4. テストする前に見る。 まず分布、欠損値、外れ値を探索します。誤りを直し、変更した内容を記録します。
  5. 頑健な要約を使う。 件数とともに中央値とパーセンタイルを報告し、ばらつきを示します。同じ曜日や季節のように、同じものどうしを比べます。
  6. バイアスに注意する。 データから誰が欠けていて、なぜかを問います。結果を示すとき、サンプルの限界を述べます。
  7. 根拠なく因果を主張しない。 比較か強い論拠がない限り、「と関連している」と言います。代替の説明を一覧にし、どう確認したかを述べます。
  8. 不確かさを示す。 範囲を示し、サンプルサイズを記します。誤った精密さを避けます。
  9. 読み手のために視覚化を設計する。 チャートを単純で、誠実で、ラベル付きに保ちます。使われない多くのものより、意味のある少数のダッシュボードを好みます。
  10. ループを閉じる。 下された判断と結果を記録し、後で分析が役立ったかを確認します。誰も使わないレポートは廃止します。

チームで話し合うための問い

データを使って最後に下した判断は何で、データは実際に何を教えてくれたか。 例を求めてください。データは、すでに下された判断を支えただけだと予想できます。さらに掘り下げるために、これからの判断を選び、まず問いを書きます。

私たちのレポートのうち、誰も読まず、行動しないものはどれか。 利用を確認します。いくつかあると予想できます。さらに掘り下げるために、ひとつを廃止し、誰か惜しむ人がいるかを尋ねます。

私たちのデータが偏っている、あるいは不完全かもしれないのはどこで、誰が欠けているか。 チケット、調査、ログを考えます。多くの利用者が決して連絡してこないと予想できます。さらに掘り下げるために、情報源をひとつ選び、別の情報源からのチェックを加えます。

最近の改善が実際に機能したと、何があれば確信できるか。 証拠を議論します。前後のチャートへの依存が予想されます。さらに掘り下げるために、同時に変わった他のことを一覧にします。

私たちの数字のうち、操作されうるものはどれで、どうやって気づくか。 誰かの評価にとって重要な指標を選びます。創造的な答えが予想されます。さらに掘り下げるために、サンプルのチェックか、組になる指標を合意します。

AIは、私たちのデータの分析にどう役立ち、その仕事をどう確認するか。 AIはデータを要約し、チャートを下書きし、パターンを提案できます。作り話の発見を述べることもあります。誰がどう確認するかを尋ねてください。さらに掘り下げるために、小さなデータセットで、AIの分析を手作業で繰り返します。

実践:サービスマネジメントの例

ある国の税務当局のITサービスデスクは、月に25,000件の連絡を扱っています。上級管理職が、平均の解決時間が一年で20パーセント伸びたことを示すダッシュボードを持ち、デスクリードに「元に戻す」よう求めます。リードは、反応する前に分析することにします。

彼女は問いから始めます。典型的な連絡の解決にかかる時間は伸びたのか、伸びたなら、どの種類の連絡でか。まずデータを確認します。春に、チケットツールが「解決」の記録の仕方を変え、チケットが、利用者が確認したときではなく、エージェントがマークしたときに解決されるようになっていました。また、秋に始まった「案件システムへのアクセス」という複雑な新しいカテゴリーのリクエストが、連絡の12パーセントを占め、他の五倍の時間がかかっていることも見つけます。

彼女は、中央値と90パーセンタイルを使い、カテゴリー別に分けて再計算します。古いカテゴリーでは、解決時間の中央値は変わっておらず、90パーセンタイルはわずかに上がっています。全体の平均が上がったのは、主に新しいカテゴリーと、定義の変更のためでした。彼女は、データからは、一部のアクセスのリクエストにそもそも時間がかかるということは分かっても、なぜかは分からない、と記します。

彼女は一ページの要約を示します。平均が上がったのは、新しい種類の仕事と定義の変更のため。ほとんどの連絡は以前と同じ速さ。長い尾はわずかに伸び、複雑なリクエストには調査が必要。スタッフの変更もあったため、新しいカテゴリーが長い尾の上昇を「引き起こした」とは言いません。彼女は二つの行動を提案します。40件のチケットのサンプルでアクセスリクエストを調べること、パーセンタイルを含むカテゴリー別の月次レポート。

何が変わったか。管理職は一律の削減を求めるのをやめ、アクセスリクエストの調査を求めます。何がまだ難しいか。定義の変更は完全には元に戻せないため、断絶をまたぐ比較は大まかなものにとどまります。40件のチケットのサンプルはひとりが読んだもので、バイアスの余地があります。管理職は今も単一の数字を好みます。リードは両方の見方を保ち、そのたびにそれぞれの限界を説明しています。

四つの視点

プロダクトとデリバリーのチーム

データを使って変更が役立ったかをテストし、有用なデータが存在するよう、自分たちのプロダクトに計測を組み込みましょう。自分たちのデータを使う人々と定義と限界を共有し、単一のチャートから過大な主張をするのは避けてください。

サービスと運用のチーム

自分たちのデータがどこから来て、何を見逃すかを知りましょう。件数とともに中央値とパーセンタイルを報告し、長い尾を調べます。ツールやカテゴリーが変わるときは、アナリストに伝えてください。

リーダーシップとガバナンス

チャートだけでなく、問い、データ、限界、判断を求めましょう。単一の指標で人を評価してはいけません。データの質と分析のスキルに資金を出してください。

顧客とユーザー

あなたはデータの中にいて、しばしばそこから欠けています。何があなたにとって重要かを尋ねられるべきで、提供者はあなたの情報がどう使われるかを述べるべきです。数字が自分の体験と合わないときは、提供者に伝えましょう。

アジャイル、AI、自動化、アナリティクス

アジャイル

アナリティクスをフィードバックのツールとして使います。期待を設定し、小さな変更を加え、データを確認し、決定します。結果をステークホルダーと共有します。注意:小さな実験で行動する前に、完全なデータを待ってはいけません。また、短い前後のチャートを証明として扱ってもいけません。

AI

AIは、データの整理、クエリとチャートの下書き、結果の要約、パターンの提案ができ、オーナーとチェックを伴います。注意:AIが生成した分析は、データが裏づけない発見を述べたり、誤った手法を使ったりしえます。計算を示させ、サンプルを手作業で繰り返してください。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。

自動化

データの収集、整理、定型的なレポートを、各ステップの文書化とともに自動化します。注意:自動化されたレポートは、意味が変わった後も続きえます。定義と情報源を定期的にレビューしてください。トピック 6.1 — 自動化戦略を参照してください。

アナリティクス

このトピックがレンズそのものです。問い、データ、手法、不確かさ、判断。注意:データの量を洞察の代わりにしてはいけません。分析が判断を変えたかを測ってください。指標の定義とガードレールは『サービスマネジメント指標』を参照してください。

よくある失敗パターン

  • 判断のないレポート。 誰も使わないダッシュボード。判断から始め、使われないレポートは廃止しましょう。
  • 隠す平均。 悪い体験の尾が見えません。中央値、パーセンタイル、分割を使いましょう。
  • 不明な定義。 項目の意味の変化が傾向を壊します。定義を文書化し、監視しましょう。
  • 偏ったサンプル。 連絡する人だけが数えられます。誰が欠けているかを述べましょう。
  • 相関からの因果。 チャートが証明と受け取られます。代替の説明を一覧にし、テストしましょう。
  • 誤った精密さ。 不確かさなしに数字が示されます。範囲とサンプルサイズを示しましょう。
  • 歪める目標値。 人々が数字を最適化します。指標を組にし、実際のケースをサンプリングしましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
問いと判断 習慣によるレポート 一部の問いが定義される 分析が名前の付いた判断から始まる 判断への影響が追跡される アナリティクスがサービスをまたいで計画に統合される
データの理解 不明 主要な情報源が分かっている 情報源、定義、ギャップが文書化される データの質が測定され、改善される データがチームとパートナーをまたいで統治され共有される
手法 平均とチャート 中央値と基本的な分割 不確かさとバイアスのチェックを伴う標準的な手法 手法がレビューされ、相互に確認される 監督と検証を伴う高度な手法
伝達 ダッシュボード 要約 限界を添えた平易な言葉の発見 発見が利用者でテストされる 洞察が日々の判断に組み込まれる

チェックリスト

  • 各分析が、名前の付いた判断と正確な問いから始まる。
  • データの情報源、定義、既知のギャップを文書化している。
  • 件数とともに中央値とパーセンタイルを報告している。
  • データから誰が欠けているかと、サンプルの限界を述べている。
  • 相関と因果を切り分け、代替の説明を一覧にしている。
  • 不確かさを示し、誤った精密さを避けている。
  • 操作されうる指標を組にし、実際のケースをサンプリングしている。
  • 下された判断を追跡し、分析が役立ったかをレビューしている。

AIプロンプト

判断を問いに変える。

The decision we need to make: [describe]. Who decides: [role]. Data we have: [list sources and fields].
Write three precise analytical questions that would inform the decision, with definitions of key terms, the population, and the period. List what data we lack for each. Do not propose answers.
List what you are unsure of.

結果の要約を落とし穴について確認する。

Here is a summary of an analysis with the data used: [paste].
List possible problems: sample bias, missing groups, changes in definitions, outliers, confounding factors, and claims of cause not supported by the data. Quote the text for each. Do not redo the analysis.
List what you are unsure of.

分析の前にデータセットを記述する。

Here is a sample of rows from our dataset with field names, identifiers removed: [paste].
List each field, its apparent type, missing values, odd values, and questions to ask about how it is recorded. Do not draw conclusions about the business.
List what you are unsure of.

AIスキル

  • statistical-analysis: 健全な統計手法を選び、適用するときに使います。
  • trend-analysis: 時間による変化を調べるときに使います。
  • data-quality: 分析の背後にあるデータを確認し、改善するときに使います。
  • software-engineering-metrics: デリバリーの指標を、そのリスクとともに定義するときに使います。
  • survey-design: 一般的なバイアスを避ける調査を設計するときに使います。

主要な情報源

  • Edward Tufte, The Visual Display of Quantitative Information (1983): 誠実なチャートについての古典。
  • Darrell Huff, How to Lie with Statistics (1954): 一般的な統計のごまかしについての、短く読みやすい解説。
  • The companion Service Management Metrics book: 指標の定義、操作の経路、ガードレール。
  • Wikipedia, "Analytics" and "Data analysis": 分野の概観。

参考文献

  1. Analytics — Wikipedia — https://en.wikipedia.org/wiki/Analytics
  2. Data analysis — Wikipedia — https://en.wikipedia.org/wiki/Data_analysis
  3. Descriptive statistics — Wikipedia — https://en.wikipedia.org/wiki/Descriptive_statistics
  4. Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
  5. Prescriptive analytics — Wikipedia — https://en.wikipedia.org/wiki/Prescriptive_analytics
  6. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
  7. Simpson's paradox — Wikipedia — https://en.wikipedia.org/wiki/Simpson%27s_paradox
  8. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
  9. Data dredging — Wikipedia — https://en.wikipedia.org/wiki/Data_dredging
  10. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  11. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
  12. Exploratory data analysis — Wikipedia — https://en.wikipedia.org/wiki/Exploratory_data_analysis