なぜ重要か

サービスマネジメントに関わる誰もが、正確だが役に立たないレポートを見たことがあります。何ページもの数字、信号機のような要約、すべての目標が達成されたというメモ。それから、一週間の悪いサービスについての顧客の苦情と、どうしてそんなことがありえたのかと尋ねる管理者。レポートは数えやすいものを測り、目標が成果を代表するようになっていたのです。

逆の失敗も同じくらい現実です。数字が人を不公平に評価するために使われてきたからと、チームが数字を信用せず、測ること自体を拒みます。すると、改善は意見に依存し、声の大きい人が決めることになります。

抜け出す道は、測定を目的を持つ技芸として扱うことです。サービスが成果を届けているか、どこを改善すべきかを学ぶこと。指標は目標から選ばれ、二人が同じように計算できるよう定義され、分布と傾向として読まれ、誤解を招きうる経路に照らして確認されます。このトピックは、その技芸を一般的な言葉で説明します。個々の指標は定義しません。姉妹書『サービスマネジメント指標』が、それぞれに定義、操作の経路、歯止めを示しており、数字そのものはそちらを参照する場所です。このトピックは、アナリティクス(トピック 7.1 — サービスマネジメントのためのアナリティクス)、データ基盤(トピック 7.2 — データ基盤とデータガバナンス)、サービスレベル(トピック 3.7 — サービスレベル管理)、継続的改善(トピック 3.15 — 継続的改善)につながります。

中核となる概念

測定値、指標、インジケーター。 測定値は、インシデントの数のように観察できる量です。指標は、計算、情報源、期間を伴って、目的のために定義された測定値です。インジケーターは、直接観察しにくいものの状態を示します。Wikipediaがパフォーマンス指標を一般に説明しており、しばしば重要業績評価指標(KPI)と略されます。用語は緩く使われています。意味するところを定義してください。

まず目標。 測定値は、目標との関係でのみ有用です。目標を平易な言葉で書き(「何かが壊れたとき、顧客が素早く助けを得られる」)、それが満たされているかを示す証拠は何かを問います。Wikipediaは、複数の視点から指標を目標に結び付けるバランスト・スコアカードや、目標を測定可能な結果と組にする目標と主要な結果(OKR)のようなアプローチを説明しています。どれを使うにしても、対話の助けとして扱ってください。

成果、アウトプット、活動。 成果は顧客と組織にとっての変化であり、アウトプットはサービスが生み出すもの、活動は労力です。クローズしたチケットのような活動だけを測っても、誰かが良くなったかについてはほとんど何も語りません。成果と体験の指標を含めます。トピック 1.1 — サービスマネジメントを参照してください。

先行指標と遅行指標。 遅行指標は、顧客満足度のように、事後に結果を報告します。先行指標は、バックログの経過期間の増加のように、何が来そうかを示します。Wikipediaが経済指標の項で両方を説明しています。バランスの取れた集合には両方が含まれます。

正確な定義。 二人の人が指標を計算して、同じ答えを得られなければなりません。母集団、開始と終了のイベント、除外するもの、期間、データの情報源を定義します。「解決までの時間」には、時計がいつ始まり、止まり、停止するかの定義が必要です。定義の変更を日付とともに記録します。トピック 7.2 — データ基盤とデータガバナンスを参照してください。

平均、中央値、パーセンタイル。 平均は、少数の極端な値によって容易に歪められます。Wikipediaが説明する中央値とパーセンタイルは、典型的なケースと、運の悪い利用者が体験する尾を示します。応答時間と解決時間では、中央値と90パーセンタイルのように、パーセンタイルを報告します。

分布と傾向。 月の単一の数字は、ばらつきを隠します。分布、複数の期間にわたる傾向、通常のばらつきの範囲を示します。Wikipediaは、通常のばらつきと、何かが変わったというシグナルを切り分ける管理図と統計的工程管理を説明しています。ちょっとした揺れのたびに反応してはいけません。

目標値としきい値。 目標値は目指す水準であり、しきい値は行動を引き起こす水準です。目標値は、必要性と達成可能なことの証拠から導かれるべきです。証拠なしに設定された目標値は、操作か絶望を招きます。

グッドハートの法則と操作。 指標が目標になると、良い指標でなくなります。Wikipediaが、グッドハートの法則と、社会科学者ドナルド・キャンベルによる関連する観察を説明しています。人々は誘因に適応します。チケットが早期にクローズされ、時計が止められ、カテゴリーが変えられ、難しいケースが避けられます。Wikipediaの逆効果なインセンティブの記事は、コブラ効果と呼ばれることもある、意図しない効果の例を示しています。あらゆる指標には操作の経路があり、『サービスマネジメント指標』は、それを歯止めとともに名指ししています。

歯止め。 第一の指標の操作を防ぐ、第二の指標やチェックです。たとえば、速度を品質と組にする(解決までの時間と再オープン率)、量を成果と組にする(クローズしたチケットと利用者満足度)、自動化された指標を実際のケースのサンプルレビューと組にする。歯止めがなければ、指標はずれていきます。

人の測定。 エージェントあたりのチケット数のような個人の成績の指標は、仕事が人によって異なり、システムが誰もが達成できることを形づくるため、特に操作と不公平を招きやすいものです。このガイドと姉妹書は、個人の順位づけを勧めません。システムを理解するために、チームレベルの指標を使ってください。

ベンチマーキング。 Wikipediaが説明するように、他者との比較は期待値の設定を助けます。比較が有効なのは、定義、仕事の構成、文脈が合っている場合だけです。違いを無視する比較には懐疑的であってください。

レポート。 レポートは、判断に情報を与えるために存在します。受け手と判断を知ります。良いレポートは、目標、指標、傾向、説明、行動を述べます。メッセージを明確にする視覚的な設計を使います。Wikipediaがデータと情報の可視化、ダッシュボードを説明しています。多くより、少数の明確な見方のほうが役立ちます。

デリバリーの指標。 DORAプログラムのようなソフトウェアデリバリーの研究プログラムは、デプロイ頻度、変更のリードタイム、変更失敗率、サービス復旧までの時間という、四つの重要指標としてよく呼ばれる四つの指標を使います。デリバリーのシステムについての有用な問いです。チームを順位づけするスコアではありません。トピック 2.2 — 継続的デリバリーを参照してください。

体験の指標。 Wikipediaが説明する調査、満足度スコア、ネットプロモータースコアは、利用者がどう思うかを尋ねます。誰が回答するか、質問の言い回しといった独自の限界があります。トピック 7.7 — 体験とセンチメントの分析を参照してください。

透明性と信頼。 人々は、理解し、定義を手伝い、公平に使われるのを見る指標を信頼します。定義、データ、結果がどう使われるかを共有します。指標は学ぶためのものだと、はっきり述べます。

レンズはどう当てはまるか。 測定は、アナリティクスがガバナンスと改善に出会う場所です。アジャイルのプラクティスは、変更が役立ったかを確認するために、少数の指標を使います。AIは、レビューのもとで、計算と下書きを助けられ、それ自体にも質の指標が必要です。自動化は、ツールから測定値を生みます。

ベストプラクティス

  1. 目標から始める。 サービスが何のためにあり、成功がどう見えるかを書き、そこに向かっているかを示す指標を選びます。目標に役立たない指標は捨てます。
  2. 集合を小さく保つ。 サービスごとに、成果、フロー、質、体験をカバーする少数の指標を選びます。少なくとも年に一度、集合を見直します。
  3. 各指標を正確に定義する。 定義、情報源、計算、期間、除外、オーナー、既知の限界を書きます。『サービスマネジメント指標』の定義を出発点として使います。
  4. 操作の経路を名指しし、歯止めを加える。 各指標について、サービスを改善せずに数字を改善する方法を問い、チェックと組にします。実際のケースを定期的にサンプリングします。
  5. 分布と傾向を示す。 中央値とパーセンタイル、通常のばらつきの範囲、複数の期間を報告します。変化を説明し、シグナルとノイズを区別します。
  6. 証拠から目標値を設定する。 履歴、必要性、キャパシティに基づき、それを満たす人々と合意します。状況が変わったら見直します。
  7. 個人ではなくシステムを測る。 システムを理解するために、チームレベルとサービスレベルの指標を使います。それで人を順位づけしてはいけません。
  8. 決めるために報告する。 レポートごとに、受け手と判断を挙げます。発見、確信度、提案する行動を述べます。誰も使わないレポートは廃止します。
  9. オープンにする。 定義と結果を、測られる人々に公開し、異議を歓迎します。データがどう使われ、どう使われないかを伝えます。
  10. レビューして廃止する。 各指標が判断を変えたかを確認します。変えなかったものは取り除き、操作されたものは直します。

チームで話し合うための問い

私たちの指標のうち、どの顧客も良くせずに達成できるものはどれか。 これは操作の経路を見つけます。いくつかの簡単な例が予想されます。さらに掘り下げるために、ひとつを選び、歯止めを合意します。

私たちの定期的な指標それぞれは、どの目標に役立ち、それによって誰が何かを決めるか。 レポートを順に追います。目標も判断もない指標がいくつかあると予想できます。さらに掘り下げるために、ひとつを捨てます。

「解決」と「応答時間」をどう定義していて、誰かが定義を変えたか。 書かれた定義を求めてください。意見の不一致が予想されます。さらに掘り下げるために、定義をひとつ書き、その履歴を記録します。

私たちの平均が隠している、パーセンタイルが語ることは何か。 ひとつの指標について、両方を計算します。長い尾が予想されます。さらに掘り下げるために、その指標ではパーセンタイルを報告することを合意します。

ここで指標は個人やチームの評価にどう使われ、それは行動に何をもたらすか。 オープンに議論してください。操作と恐れの話が予想されます。さらに掘り下げるために、ある指標は学ぶために使われることを合意し、書面でそう述べます。

AIは、指標の計算や説明にどう役立ち、どう確認するか。 AIは計算し、解説を下書きできます。傾向を作り話の原因で説明することもあります。誰が確認するかを尋ねてください。さらに掘り下げるために、計算を手作業で繰り返し、比べます。

実践:サービスマネジメントの例

ある地域の救急サービスのIT部門は、理事会に月次で24の指標を報告しています。理事会は、レポートが緑なのに、配車担当者が、シフトの開始時に、コンピューター支援の配車システムが遅いと不満を述べるのはなぜかと尋ねます。IT責任者は、それを使う人々とともに、測定の集合を作り直すことにします。

彼女は、配車のリーダーと合意した目標から始めます。配車担当者が遅れなく通報を開いて更新できる。障害が素早く直される。変更が運用を妨げない。彼女は八つの指標を選び、それぞれを、姉妹書『サービスマネジメント指標』に基づく一ページの項目で定義します。「配車担当者のトランザクション時間」では、定義は何をどこから計時するかを述べ、時間帯ごとに95パーセンタイルを報告するとしています。データセンターからの五分間隔のpingで測られる古い可用性の指標は保たれますが、理事会に単独では示されません。

各指標について、チームは操作の経路と歯止めを書きます。「目標内に解決されたインシデント」は、再オープン率と、上級アナリストが読む月次の30件のインシデントのサンプルと組にされます。チームは、インシデントを素早くクローズして後で再オープンすれば、最初の指標を良く見せられると認識しています。理事会のレポートは、12か月にわたる中央値と95パーセンタイルを通常のばらつきの範囲とともに示し、何が変わり、チームが何をするかの短いメモを添えます。

最初のレポートは、トランザクション時間の95パーセンタイルが06:30から07:30にかけて倍になることを示し、理事会はキャパシティの調査に資金を出します。毎月40人の配車担当者に尋ねる満足度の質問が、体験の見方を加えます。IT責任者はまた、どの指標も個々のアナリストの順位づけに使わないと、書面で述べます。

何が変わったか。理事会は本物の問題を議論し、チームは定義をめぐる議論をやめました。何がまだ難しいか。新しいトランザクションの指標は、二つのベンダーが異なる形で記録するログの項目に依存しているため、データは近似です。調査の回答率は夜勤で低いです。上級管理職は今も、理事会に単一のスコアを望みます。IT責任者は八つの指標を保ち、単一のスコアが朝の問題をどう隠すかを管理職に示します。

四つの視点

プロダクトとデリバリーのチーム

測定をプロダクトに組み込みましょう。イベント、タイミング、利用者から見える指標。制約を見つけるためにデリバリーの指標を使い、チームを比較するために使ってはいけません。定義を運用と共有してください。

サービスと運用のチーム

何がどう測られているかを知り、サービスについての自分の感覚と照らして確認しましょう。操作と悪い定義を正直に報告します。どこを改善すべきかを見るために指標を使ってください。

リーダーシップとガバナンス

緑の要約ではなく、目標、定義、分布、歯止めを求めましょう。指標で人を順位づけしてはいけません。データの仕事に資金を出し、悪い知らせを聞く覚悟をしてください。

顧客とユーザー

何が重要かを尋ねられ、自分の体験を反映する指標を見て、それによって何が変わっているかを聞けるべきです。数字が自分の見ているものと合わないときは、提供者に伝えましょう。

アジャイル、AI、自動化、アナリティクス

アジャイル

期待と日付を決めて、各変更を確認するために少数の指標を使い、ステークホルダーとレビューします。もう情報を与えない指標は廃止します。注意:指標をチームの目標値にしてはいけません。チームは数字を最適化します。

AI

AIは、計算、チャート化、解説の下書きを助けられ、AIシステム自体にも、正確さ、誤り、コストの指標が必要です。注意:数字がなぜ変わったかのAIの説明は、作り話かもしれません。データを指させ、確認してください。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。

自動化

収集と計算を、文書化された定義と変更履歴とともに自動化します。注意:自動化されたレポートは、定義が無言で壊れた後も何年も走り続けることがあります。元データに照らして定期的に検証してください。トピック 6.1 — 自動化戦略を参照してください。

アナリティクス

指標を確認するために、分布、傾向とばらつきの手法、実際のケースのサンプリングを使います。注意:どの指標も、重要になれば操作されえます。指標を組にして、ケースを読み続けてください。『サービスマネジメント指標』とトピック 7.1 — サービスマネジメントのためのアナリティクスを参照してください。

よくある失敗パターン

  • 緑のレポート、不満な顧客。 指標が成果を見逃しています。成果と体験の指標とサンプリングを加えましょう。
  • 指標が多すぎる。 誰も使えません。目標に結び付いた少数を保ちましょう。
  • 曖昧な定義。 数字を比較できません。正確に定義し、変更を記録しましょう。
  • 平均。 尾が隠れます。パーセンタイルと分布を報告しましょう。
  • 証拠のない目標値。 操作か絶望が続きます。データに基づいて目標値を設定し、合意しましょう。
  • 個人の順位づけ。 信頼が崩れ、数字が操作されます。システムとチームを測りましょう。
  • 歯止めがない。 指標がずれます。それぞれをチェックと組にし、ケースをサンプリングしましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
目標と選択 数えやすいもの何でも 一部に目標に結び付いた指標がある サービスごとに目標に結び付いた少数の集合がある 集合が判断に照らしてレビューされる 指標がサービスとパートナーをまたいで揃えられる
定義と質 非公式 一部の定義がある オーナーと変更履歴を伴う正確な定義がある 定義が元データに照らして検証される 定義がチームをまたいで共有され自動化される
操作への防御 なし 認識されている 各指標に操作の経路と歯止めがある 実際のケースのサンプルがレビューされる 防御がレポートと文化に組み込まれる
レポートと利用 静的なレポート ダッシュボード 傾向と分布を伴う、名前の付いた判断のためのレポート 利用と影響が追跡される レポートが計画と改善に統合される

チェックリスト

  • 各指標が、書かれた目標に役立っている。
  • 各指標に、正確な定義、オーナー、情報源、変更履歴がある。
  • 傾向とともに、中央値とパーセンタイルを報告している。
  • 各指標に、名前の付いた操作の経路と歯止めがある。
  • 成果と体験の指標を含めている。
  • 指標で個人を順位づけしていない。
  • 各レポートが、受け手と、それが支える判断を挙げている。
  • もう判断を変えない指標をレビューして廃止している。

AIプロンプト

レビュー用に指標の定義を書く。

Metric name: [name]. What we want to know: [goal in plain words]. Data we have: [fields and source].
Draft a definition with: purpose, population, start and end events, exclusions, calculation, period, source, owner (leave blank), and known limits. Then list two ways the metric could be gamed and one guardrail for each. Mark any assumption.
List what you are unsure of.

レポートを、よくある問題について確認する。

Here is a monthly report with its measures and a short commentary: [paste].
List measures without a stated goal, uses of averages where percentiles would help, claims of cause not supported by the data, comparisons that may not be like for like, and anything that could be gamed. Quote the text for each. Do not rewrite the report.
List what you are unsure of.

指標の変化を説明する。

The measure [name] changed from [value] to [value]. Here are other facts from the same period: [paste, such as changes in tools, staffing, volumes, definitions].
List possible explanations as hypotheses, what data would test each, and which are not supported by the facts given. Do not state a cause as fact.
List what you are unsure of.

AIスキル

主要な情報源

  • The companion Service Management Metrics book: 指標の定義、操作の経路、歯止め。このトピックが全体を通じて参照しています。
  • Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018), and DORA (dora.dev): デリバリーの指標についての研究。
  • Donald J. Wheeler, Understanding Variation (1993): 指標におけるシグナルとノイズについての明快な解説。
  • Wikipedia, "Goodhart's law" and "Performance indicator": 主要な考え方の概観。

参考文献

  1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
  2. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
  3. Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
  4. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  5. Campbell's law — Wikipedia — https://en.wikipedia.org/wiki/Campbell%27s_law
  6. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
  7. Economic indicator — Wikipedia — https://en.wikipedia.org/wiki/Economic_indicator
  8. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
  9. Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
  10. Benchmarking — Wikipedia — https://en.wikipedia.org/wiki/Benchmarking
  11. Data and information visualization — Wikipedia — https://en.wikipedia.org/wiki/Data_and_information_visualization
  12. Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score