サービスレベル管理
サービスレベル管理は、サービスに依存する人々とともに、サービスの明確で測定可能な目標を設定し、その目標に対する成績を追跡し、ギャップを改善に使います。現代の形では、従来のサービスレベル合意に、体験レベル合意とエンジニアリングの目標が加わります。
なぜ重要か
提供者と顧客は、「良いサービス」が何を意味するかについて、異なる絵を抱いています。提供者は稼働率とチケットのクローズを考えます。顧客は、自分の仕事を終えられたかを考えます。合意された定義がなければ、双方が誠実で、双方が不満を抱えることがありえます。提供者はすべての目標が達成されたことを示すレポートを指し、顧客は苛立ちの一週間を指します。
サービスレベル管理は、そのギャップを埋めます。顧客が何を必要としているかについての対話を始め、その答えを測定可能な目標に変え、顧客が確認できる形で報告します。文書より対話のほうが重要です。一度書かれてしまい込まれるサービスレベル合意(SLA)は誤った安心感を与え、実際のデータと、何がうまくいっていないかについての正直な議論とともに定期的にレビューされるSLAは、信頼を築きます。
現代の実務は、ひとつの批判にも直面しています。技術的な指標で設定された目標は、利用者が不満でも、すべて緑になりえます。これに応えて、組織は体験レベル合意(XLA)のような体験の指標を加え、エンジニアリングチームは利用者が気づくことに基づくサービスレベル目標(SLO)を設定します。このトピックは、語彙、目標の設定の仕方、それらを有用に保つ方法を説明します。可用性とキャパシティ(トピック 3.11 — 可用性、キャパシティ、パフォーマンス)、サプライヤー管理(トピック 3.14 — サプライヤー管理)、測定(トピック 7.3 — 測定とレポート)につながります。
中核となる概念
サービスレベル合意(SLA)。 ITIL 4では、サービス提供者と顧客の間の文書化された合意で、必要なサービスと期待されるサービスレベルの両方を明らかにするものです。Wikipediaのサービスレベル合意の記事が、一般的な構成要素を説明しています。サービスの記述、目標、測定、レポート、目標を満たせなかった場合に何が起きるか。SLAは、提供者と自組織の間の内部のものであることも、商業契約における外部のものであることもあります。
サービスレベル目標値。 「暦月に、リクエストの99.9パーセントが2秒以内に完了する」「優先度1のインシデントに15分以内に対応する」のような、具体的で測定可能なコミットメントです。各目標は、何を、どう、どの期間で、どんな条件で測定するかを定義します。
サービスレベル目標(SLO)。 サービスレベル指標(SLI)に対する目標で、最もよくはエンジニアリングチームが、トピック 2.6 — サイト信頼性エンジニアリングで説明するプラクティスの一部として使います。SLOは通常内部のもので、チームが違反の前に問題に気づけるよう、外部のSLAより厳しく設定されます。Wikipediaがサービスレベル目標を説明しています。
運用レベル合意(OLA)。 顧客へのサービスの提供を支える、内部チーム間の合意です。たとえば、ネットワークチームが、外部のSLAを支えるサービスチームに対する応答時間に合意する場合です。Wikipediaが運用レベル合意を説明しています。
下請契約。 サービスの提供を支える外部サプライヤーとの合意です。それが支えるSLAと整合していなければなりません。SLAで4時間を約束し、サプライヤーの契約が8時間を許していれば、そのギャップは自分たちのものです。
体験レベル合意(XLA)。 新しい考え方で、純粋に技術的な指標ではなく、サービスが目標の達成にどれだけ役立ったかといった、利用者がサービスをどう体験するかに焦点を当てた合意です。XLAは、システムのデータに加えて、調査、センチメントの指標、観察を使うことが多いです。単一の標準的な定義はないため、自分たちが何を意味するかを書き留めてください。トピック 7.7 — 体験とセンチメントの分析を参照してください。
良い目標とは何か。 顧客にとって意味があり、測定可能で、達成できることの証拠に基づき、それに依存する人々と合意されたものです。測定方法と、計画的な保守のような除外を述べます。提供者が管理できないことは約束しません。
平均とパーセンタイル。 平均は最悪のケースを隠します。「平均応答時間が1秒未満」という目標は、十件のうち一件が10秒かかっていても達成されえます。Wikipediaが説明するパーセンタイルは、よりよい絵を与えます。「リクエストの95パーセントが2秒未満」。気にかける体験に合わせてパーセンタイルを選びます。
可用性と稼働時間。 サービスが利用可能な時間の割合として表される、一般的な目標です。Wikipediaの可用性の記事が計算を説明しています。何を「利用可能」と数えるかに左右されます。稼働していても使えないサービスがありえます。利用者の観点から定義してください。
ペナルティとクレジット。 多くの外部SLAには、提供者が目標を外したときのサービスクレジットのような救済措置が含まれます。それは真剣さのシグナルですが、サービスの代わりにはなりません。小さなクレジットでは、事業に影響を受けた顧客は助けられません。Wikipediaの損害賠償額の予定の記事が、関連する契約上の考え方を説明しています。自分の契約で救済措置がどう機能するかを確認し、必要なら法的助言を求めてください。このガイドは法的助言を行いません。
レポート。 定期的なレポートは、目標に対する結果を、未達の説明とアクションとともに示します。レポートは単なる記録ではなく、対話のためのものです。数字とともに、事例と利用者のコメントを含めます。
レビュー。 SLAと目標を、合意した間隔で顧客とレビューし、ニーズや技術が変わったら調整します。誰も使わない目標は廃止します。
グッドハートの法則。 「指標が目標になった途端、それは良い指標でなくなる」。Wikipediaは、経済学者チャールズ・グッドハートに帰されるこの観察を説明しています。人々は、目的ではなく数字を満たすよう行動を調整します。サービスレベルはこれを招きがちです。早期にクローズされるチケット、再分類されるインシデント、止められる時計。サンプル、組になった指標、顧客のフィードバックで防ぎます。『サービスマネジメント指標』を参照してください。
レンズはどう当てはまるか。 サービスレベル管理は、アジャイルの改善が合意と出会う場所です。目標を頻繁にレビューし、調整します。AIは、レビューのもとで、成績データの分析とレポートの下書きを助けられます。自動化は、一貫して測定し、報告します。アナリティクスは、技術的な目標と利用者の体験の関係を示します。
ベストプラクティス
- 顧客が必要とするものから始める。 失敗させられないものは何か、どんな遅さなら許容できるかを尋ねます。測定しやすいものではなく、その答えに基づいて目標を設定します。
- 目標の数を少なく保つ。 サービスごとに意味のある少数の目標のほうが、数十よりも理解し、管理しやすいです。誰も使わないものは捨てます。
- 各目標を正確に書く。 何を、どこから、どの期間で測定し、何を除外し、結果をどう計算するかを述べます。定義を、直近一か月のデータでテストします。
- 応答とパフォーマンスにはパーセンタイルを使う。 目標を満たしたケースの割合を報告し、平均だけでなく最悪のケースも示します。
- 内部の目標を合意より厳しく設定する。 違反の前にチームが行動できる余地を与えます。内部と外部の目標を、互いに、またサプライヤー契約と整合させます。
- 体験の指標を加える。 技術的な目標と並べて、短い調査と観察を使って、サービスが利用者の役に立ったかを尋ねます。実際のケースをサンプリングして、数字が見逃すものを見ます。
- 文脈とともに報告する。 結果を顧客との定期的な会議で示し、未達を正直に説明し、アクションを合意します。利用者のコメントをいくつか含めます。
- 操作を防ぐ。 数字の背後にあるチケットとインシデントのサンプルをレビューし、再オープン率を見て、速度の指標を品質の指標と組にします。
- 合意を定期的にレビューする。 少なくとも年に一度、また大きな変化があったときに会い、目標がまだニーズとコストに合っているかを確認します。目標はオープンに変えます。
- サプライヤーを揃える。 各サプライヤーの合意が、約束した目標を支えているかを確認し、その成績をどう報告してもらうかを合意します。トピック 3.14 — サプライヤー管理を参照してください。
チームで話し合うための問い
先月、すべての目標を達成していたとして、顧客はサービスが良かったと言うだろうか。 これは、目標が体験を反映しているかを試す問いです。どこかにミスマッチがあると予想できます。どの目標でも捉えられなかった最近の苦情を求めてください。さらに掘り下げるために、体験の新しい指標をひとつ選びます。
私たちの目標のうち、誰も読まないものはどれで、皆が議論するものはどれか。 これは、役に立たない指標と、論争のある指標を見つけます。それぞれを判断に使っているのは誰かを尋ねてください。さらに掘り下げるために、ひとつを廃止し、ひとつを明確にします。
私たちが顧客に約束していることのうち、サプライヤーや他のチームに依存するものは何で、彼らは私たちに何を約束しているか。 これは、合意間の整合性を試します。数字を並べて確認してください。ギャップが予想されます。さらに掘り下げるために、再交渉するか、自分たちの約束を変えるかして、埋めるギャップをひとつ選びます。
私たちの目標は、利用者の役に立たずに、どう達成されうるか。 操作を想像します。早期のチケットクローズ、時計の停止、定義の絞り込み。実際に起きているかを尋ねてください。さらに掘り下げるために、ひとつの目標についてサンプルチェックを選びます。
サービスレビューの会議に誰が出席し、その後で何が変わるか。 アクションのない会議は儀式です。直近のアクション一覧を求めてください。さらに掘り下げるために、各レビューが、オーナー付きの最大三つのアクションで終わるよう合意します。
サービスレベルのデータの分析やレポートの下書きでAIが役立つのはどこで、人が確認しなければならないのは何か。 AIは傾向を要約し、説明を下書きできます。証拠なく原因を述べることもあります。誰が下書きをデータと照らして確認するかを尋ねてください。さらに掘り下げるために、人が承認する形で、社内向けにAIが下書きした要約を試します。
実践:サービスマネジメントの例
ある地域の水道事業者のIT部門は、800人の事務スタッフと300の現場作業班を支援しています。作業指示システムのSLAは、99.5パーセントの可用性と、優先度1のインシデントへの4時間の対応を約束しています。レポートは二年間、すべての目標が達成されたことを示しています。それでも現場作業班はシステムを「信頼できない」と呼び、運用の責任者はより良いSLAを求めます。
サービスマネージャーは、作業班のリーダーたちに会い、「信頼できない」とは何を意味するかを尋ねます。彼らは、システムは稼働しているが、作業班が仕事を始める早朝に非常に遅く、携帯の電波が悪いときには同期に失敗すると言います。どちらも捉えられていません。可用性はデータセンターからの五分間隔のチェックで測られ、応答の目標は作業班が起票するチケットにしか適用されないのですが、何もされないと思っているので、作業班はめったに起票しないのです。
マネージャーは変更を提案します。チームは、実際の利用者のトランザクションに基づくSLIを加えます。作業指示の保存の95パーセントが3秒以内に完了すること。午前6時から8時の時間帯は別に測定します。作業班向けの短い月次のパルス調査を加え、システムが仕事の完了に役立ったか、何が妨げになったかを二つの質問で尋ねます。そして、作業班より先にチームが早朝の遅さに気づけるよう、SLAより厳しい内部SLOを設定します。運用の責任者は、四半期ごとに作業班の代表と目標をレビューすることに同意します。
何が変わったか。最初の月のデータが早朝の遅さをはっきり示し、データベースのチューニングの変更でその多くが解消されました。何がまだ難しいか。同期の失敗は、事業者が管理できない携帯の電波に依存しています。調査の回答率は約三分の一です。新しいSLIは契約に含まれていないため、経営チームへのレポートには、今は二組の数字が載ります。マネージャーは両方を保ち、次の契約更新で新しい指標をSLAに組み込むことを提案します。
四つの視点
プロダクトとデリバリーのチーム
サービスを運用し使う人々とともに指標と目標を定義し、測定をプロダクトに組み込みましょう。目標の未達を、運用だけでなく設計を見直すきっかけとして扱ってください。
サービスと運用のチーム
目標と、その測定方法を知りましょう。操作に注意し、正直に報告し、数字が見逃すことの例をレビュー会議に持ち込みます。内部の目標を使って、早く行動してください。
リーダーシップとガバナンス
目標が顧客の必要を反映しているか、サプライヤー契約と整合しているかを問いましょう。見出しのパーセンテージだけでなく、分布とサンプルを見ます。単一の数字でチームを褒賞したり罰したりするのは避けてください。
顧客とユーザー
自分にとって最も重要なことと、許容できることを伝えましょう。レビューに参加してください。レポートがすべて緑でも不満があるなら、提供者に伝え、事例を示します。
アジャイル、AI、自動化、アナリティクス
アジャイル
顧客とともに目標を定期的に、小さな歩みでレビューし、調整し、未達を改善のためのフィードバックとして使います。注意:毎月変わる目標は皆を混乱させます。安定した核を保ち、意図して変えてください。
AI
AIは、成績データの分析、レポートの下書き、未達の原因の提案ができ、結論には人が責任を持ちます。それぞれの使用にオーナーを指名してください。注意:未達についてのAIの説明は、証拠なしに権威があるように聞こえることがあります。使ったデータを引用させてください。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。
自動化
実際のトランザクションからの測定、レポート、違反のリスクに対するアラートを、透明な計算とともに自動化します。注意:自動化された測定は、定義の誤りを隠すことがあります。元データと計算を定期的にサンプリングしてください。トピック 6.2 — ワークフロー自動化とオーケストレーションを参照してください。
アナリティクス
応答時間のパーセンタイルのような技術的な指標を、調査結果や苦情のような体験のデータと組み合わせます。注意:調査は応答した人々から来ますし、どの指標も、目標になれば操作されえます。複数の情報源を使い、ケースをサンプリングしてください。トピック 7.7 — 体験とセンチメントの分析と『サービスマネジメント指標』を参照してください。
よくある失敗パターン
- すべて緑なのに顧客が不満。 指標が体験を見逃しています。利用者に基づく指標とサンプルを加えましょう。
- 目標が多すぎる。 誰も読みません。重要な少数を保ちましょう。
- 平均だけ。 最悪のケースが隠されます。パーセンタイルを使い、外れ値を示しましょう。
- 操作。 時計が止められ、チケットが早期にクローズされます。サンプリングし、指標を組にしましょう。
- 一貫しない合意。 約束がサプライヤーの提供を超えています。内部と外部の目標を揃えましょう。
- 武器としてのSLA。 会議がクレジットをめぐって争います。改善と共通の理解に焦点を当てましょう。
- レビューされない。 目標が古びます。合意した間隔でレビューしましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| 目標 | 技術的で、レビューされない | 一部に顧客に基づく目標がある | 目標が顧客とともに設定され、正確に定義される | 目標がデータと体験に照らしてレビューされる | 目標がサービスとパートナーをまたいで調整される |
| 測定 | 手作業 | 一部が自動化されている | 可能な限り利用者のトランザクションから測定される | 測定が検証され、サンプリングされる | 測定が連鎖全体で自動化され、透明である |
| 体験 | 測定されていない | 場当たり的な調査 | 技術的な指標と並んで体験の指標がある | 体験が改善に結び付く | 体験がサービスをまたいで合意を駆動する |
| レビュー | まれ | 年次 | アクションを伴う定期的なレビュー | レビューの結果が追跡される | レビューが計画とサプライヤーに統合される |
チェックリスト
- 目標は、顧客が必要とするものに基づき、顧客と合意されている。
- 各目標が正確に定義され、実際のデータでテストされている。
- 応答とパフォーマンスの目標にパーセンタイルを使っている。
- 内部の目標が、外部の合意より厳しい。
- サプライヤー契約が、約束した目標を支えている。
- 技術的なパフォーマンスだけでなく、体験も測定している。
- 操作がないか、数字の背後のケースをサンプリングしている。
- 少なくとも年に一度、また大きな変化の後に、合意をレビューしている。
AIプロンプト
目標の定義を確認する。
Here is a service level target as written: [paste]. Here is a month of raw data: [paste summary].
List what is unclear in the wording, compute the result in two different reasonable ways showing your steps, and note where the answers differ. Do not recommend a new target.
List what you are unsure of.
数字が見逃すものを見つける。
Our targets: [list]. Here are user complaints from the last quarter: [paste, personal data removed].
List complaints that no target would have detected, quote each briefly, and suggest one possible measure for each. Do not claim the measures would work.
List what you are unsure of.
サービスレビューを準備する。
Here are this month's results against targets: [paste]. Here are notable incidents and user comments: [paste].
Draft an agenda and five questions to discuss with the customer, including one about what the numbers do not show. Do not explain causes that are not in the material.
List what you are unsure of.
AIスキル
- service-level-agreement: 合意と目標を下書きしレビューするときに使います。
- key-risk-indicators: 早期に警告する指標を選ぶときに使います。
- survey-design: 体験の指標を設計するときに使います。
- vendor-management: サプライヤーの合意を自分たちの目標に揃えるときに使います。
主要な情報源
- PeopleCert, ITIL certification pages: サービスレベル管理のプラクティスについての所有者の説明。
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on service level objectives, free at sre.google.
- Wikipedia, "Service-level agreement" and "Service-level objective": 用語の概観。
- Wikipedia, "Goodhart's law": 指標を目標として使うことへの注意。
参考文献
- Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
- Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
- Operational-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Operational-level_agreement
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Liquidated damages — Wikipedia — https://en.wikipedia.org/wiki/Liquidated_damages
- Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/