なぜ重要か

インシデントとは、サービスに対する計画外の中断、あるいはその品質の低下です。それが起きたとき、関係者は圧力を受け、情報は不完全で、時計は進んでいます。最初の十分間に下された決定が、インシデントが一時間で済むか六時間続くかをしばしば左右します。

インシデントをうまく扱う組織は、英雄に頼りません。どれほど深刻かをどう判断するか、誰が率い、誰が利用者に話し、どうエスカレーションし、いつ調査をやめて回避策を適用するかを合意しています。練習もしています。インシデントを下手に扱う組織は、毎回即興で動き、事象の最中に優先順位をめぐって争い、システムを知るただ一人が休暇中だと気づきます。

このトピックは、インシデント管理をプラクティスとして説明します。定義、役割、重大度、コミュニケーション、レビュー。重大インシデントにはさらに構造を与え、AIと自動化が役立つ場面と害になる場面を扱います。根本的な原因を探す問題管理(トピック 3.3 — 問題管理)と、インシデントをしばしば検知する監視(トピック 3.10 — 監視とイベント管理)と並ぶものです。

中核となる概念

インシデント。 ITIL 4では、サービスに対する計画外の中断、またはサービスの品質の低下です。Wikipediaのインシデント管理の記事が、ITサービスマネジメントにおけるそのプラクティスを説明しています。インシデントは、監視がディスクの故障を示すときのように、利用者が誰も気づく前から存在しうるものです。

まずサービスを復旧する。 目的は、サービスを通常に戻すことであり、根本原因を見つけることではありません。サービスを復旧させる回避策は良い結果です。根本原因は問題管理の領分です。サービスが止まっている間に原因を掘り下げるチームは、障害を長引かせます。

回避策。 原因を解決せずに、インシデントの影響を減らす、あるいはなくす解決策です。たとえば、トラフィックの迂回、コンポーネントの再起動、手作業のプロセスへの切り替え。既知のエラーと回避策がどう追跡されるかは、トピック 3.3 — 問題管理を参照してください。

重大度と優先度。 重大度は、影響を受ける人数や程度のような、利用者と事業への影響を表します。優先度は、期限のような緊急性を加えたものです。多くの組織は、たとえば四段階の小さな尺度を使い、それぞれに定義と期待される対応を持ちます。定義は、感覚ではなく、観察できる事実(「100人超が支払いをできない」)を使うべきです。

重大インシデント。 重大インシデントは影響が大きく、標準のプロセスより速く、より調整された対応が必要です。しきい値は組織が自分たちで定義します。重大インシデントには通常、名前のあるインシデントリード、コミュニケーションリード、更新の定期的なリズムがあります。

役割。 インシデントリードは調整して判断を下し、技術担当の対応者は診断して修正し、コミュニケーションリードはステークホルダーと利用者に情報を伝え続け、記録係は何がいつ行われたかを記録します。小さなインシデントでは、ひとりが複数の役割を担うこともあります。Wikipediaが説明する、緊急事態管理で使われるインシデント・コマンド・システムは、多くの技術組織で使われる構造に影響を与えています。

エスカレーション。 より多くのスキルや権限を持ち込むことです。機能的エスカレーションは、インシデントを適切な専門知識を持つ人々に移します。階層的エスカレーションは、判断やリソース提供ができる管理者を巻き込みます。「重大度1で30分進展がなければ」のような明確な基準は、エスカレーションを失敗の印ではなく、日常のことにします。

オンコール。 通常の時間外にも連絡がつくようにするための取り決めです。優れたオンコールのプラクティスには、負荷の上限、明確な当番表、ランブック、報酬が含まれます。トピック 2.6 — サイト信頼性エンジニアリングを参照してください。Wikipediaが説明するアラーム疲労という現象により、頻繁すぎる、あるいは対応不可能なアラートは無視されるようになります。

コミュニケーション。 利用者とステークホルダーは、何が影響を受けているか、何をしているか、次にいつ連絡があるかを知る必要があります。頻繁で平易な更新は、繰り返しの接触と不安を減らします。Wikipediaの危機コミュニケーションの記事が、一般的な原則を示しています。ステータスページ、社内チャンネル、主要顧客への直接のメッセージは、それぞれ異なる受け手に向けたものです。

インシデント記録。 開始時刻、症状、行動、判断、終了時刻を記した、チケットまたは記録です。記録はレビューを支え、改善のためのデータを提供します。インシデント中に残されたタイムラインは、後から再構成したものよりも正確です。

レビュー。 重大なインシデントの後、何が起き、何が役立ち、何が対応を遅らせ、何を変えるべきかを見る、非難のないレビューを開きます。発見は問題管理と改善のバックログに渡されます。トピック 3.3 — 問題管理を参照してください。

指標。 検知までの時間、対応までの時間、復旧までの時間は一般的で、Wikipediaが説明する平均復旧時間(MTTR)としてまとめられることが多いです。平均は、インシデント間の大きな違いを隠し、開始時刻と終了時刻の設定の仕方で操作されえます。分布を使い、個々のインシデントを見てください。『サービスマネジメント指標』を参照してください。

レンズはどう当てはまるか。 アジャイルのプラクティスは、各レビューをフィードバックとして扱い、改善を小さく継続的に保ちます。AIは、説明責任を負う人とともに、タイムラインの要約、類似の過去のインシデントの提示、更新の下書きができます。自動化は、再起動やフェイルオーバーのような、安全でよく理解された手順を実行します。アナリティクスは、再発のパターンを示します。

ベストプラクティス

  1. 観察できる事実で重大度のレベルを定義する。 各レベルが何を意味し、誰に通知され、どれだけ速く対応するかを書きます。分類が難しかったインシデントの後に、定義を見直します。
  2. 役割を明示して練習する。 誰が率い、誰が伝え、誰が記録するかを合意します。最初が本物の危機にならないよう、演習でリハーサルします。トピック 3.12 — サービス継続性管理を参照してください。
  3. 先に復旧し、調査は後で行う。 回避策があり安全なら適用する、というルールを設けます。問題管理のためにインシデントを記録し、先に進みます。
  4. ライブのタイムラインを保つ。 行動と判断を、起きたときに時刻とともに共有の場所に記録します。争いを防ぎ、レビューを早めます。
  5. 早く、責められずにエスカレーションする。 エスカレーションのトリガーを定義し、それを使うことを良いプラクティスとして扱います。遅くエスカレーションする人は批判を恐れているので、それを取り除きます。
  6. リズムをもって伝える。 重大度ごとに更新の間隔を合意し、新しい情報がなくても、そう述べて更新を送ります。平易な言葉を使います。
  7. 対応者に必要なものを与える。 ランブック、アクセス、ダッシュボード、連絡先一覧を維持します。必要になる夜より前に、アクセスをテストしておきます。
  8. 人を守る。 オンコールの負荷を制限し、長いインシデントは引き継ぎ、対応者が休めるようにします。疲れた人はより悪い判断をします。
  9. 非難なくレビューし、やり遂げる。 タイムライン、寄与要因、オーナーと期日のあるアクションを含む短いレポートを書きます。アクションを完了まで追跡します。トピック 3.3 — 問題管理を参照してください。
  10. 学びを還元する。 ランブック、監視、設計を更新します。学びを他のチームと共有し、繰り返されるインシデントが減っているかを確認します。

チームで話し合うための問い

インシデントがどれほど深刻かをどう決めているか。インシデントの最中にそれが争われたことはあるか。 重大度をめぐる意見の相違は、時間を無駄にします。最近の例を求めてください。誰が尋ねるかによって答えが変わる、と聞くかもしれません。さらに掘り下げるために、あるレベルの定義を、観察できる事実で書き直します。

午前3時にインシデントを率いるのは誰で、その人は自分がリードだとどうやって知るのか。 リーダーシップが不明確なことは、混乱の一般的な原因です。直近の重大インシデントで誰が判断を下したかを尋ねてください。異なる答えが予想されます。さらに掘り下げるために、リードの選び方と通知の仕方を合意します。

インシデント中、利用者は私たちから何を聞き、どれくらいの頻度か。 直近のインシデントで利用者が聞いたことと、聞きたかったことを比べます。長い沈黙が予想されます。さらに掘り下げるために、更新の間隔とチャネルを選び、テンプレートを下書きします。

私たちが遅れてエスカレーションしたのはどんなときで、それはなぜか。 これは恐れと習慣を探ります。無能に見えることや、誰かを起こすことを恐れて、人々は遅らせるかもしれません。何があればエスカレーションが楽になるかを尋ねてください。さらに掘り下げるために、「30分進展がなければエスカレーションする」のようなルールを書きます。

直近のインシデントレビューは、何を変えるべきだと述べていて、実際に何が変わったか。 これは、やり遂げる力を試します。アクションとその状況を尋ねてください。数か月も未完了のものがあると予想できます。さらに掘り下げるために、オーナーと期日を割り当て、一か月後にレビューします。

インシデント中にAIが役立つのはどこで、人が決めなければならないのはどこか。 AIは、タイムラインを要約し、過去のインシデントを検索し、更新を下書きできます。説明責任は負えません。承認なしにAIが行ってよい行動があるとすれば何かを尋ねてください。さらに掘り下げるために、リスクの低い使用をひとつ選び、出力をどう確認するかを合意します。

実践:サービスマネジメントの例

ある全国薬局チェーンのデジタルチームは、顧客が繰り返しの処方箋を注文できるアプリを運用しています。ある金曜の夜、約30パーセントの利用者で注文が失敗し始めます。オンコールのエンジニアはデータベースからのエラーを見て、当番表に従ってインシデントリードを呼びます。リードは、利用者が中核の作業を完了できないため、重大度2のインシデントを宣言し、コミュニケーションリードを割り当て、タイムラインを始めます。

15分以内に、チームはその日の午後にデプロイされたデータベースの変更を疑います。リードはロールバックが安全かを尋ね、変更を行ったエンジニアが安全だと確認します。チームはロールバックし、注文は五分以内に回復します。最初のアラートから復旧までの合計時間は47分でした。コミュニケーションリードは、20分の時点で、35分の時点で、そして復旧時に最後の更新を、ステータスページに投稿し、カスタマーサービスチームに何を伝えるべきかを知らせていました。

翌週、チームは非難のないレビューを開きます。タイムラインは、注文の失敗を捉えるアラートがなかったため、検知が利用者の苦情に頼っていたこと、変更はレビューされていたがテスト環境に現実的なデータがなかったこと、コミュニケーションリードがステータスページに何を書いてよいか分からなかったため、最初の更新が合意した間隔より遅れたことを示します。チームは注文失敗率のアラートを加え、テストデータを改善し、ステータスページのテンプレートを書きます。

何が変わったか。次の同様のインシデントは、アラートによって三分以内に検知されました。何がまだ難しいか。テストデータには、もっともな理由で実際の患者情報が含まれず、現実性が制限されます。当番表には、データベースを安全にロールバックできるエンジニアがまだ少ししかいません。レビューのアクション一覧には12項目あり、チームが時間を取れるのは5つです。リスクで選び、残りは期日とともにバックログに載せました。

四つの視点

プロダクトとデリバリーのチーム

復旧を前提に作りましょう。変更を元に戻せるようにし、利用者への影響を示すアラートとログを加え、ランブックを書きながら進めます。レビューに加わり、設計の中の原因を直してください。

サービスと運用のチーム

自分の役割を知り、練習し、タイムラインを保ちましょう。早くエスカレーションし、安定して伝え、互いを気遣います。学んだことをレビューに持ち込み、ランブックと監視の改善に使ってください。

リーダーシップとガバナンス

重大度の定義と期待を事前に合意し、責任を押し付けるのを避けましょう。重大インシデントの間は、リードを支え、合意したチャネルを通じてのみ更新を求めます。フォローアップのアクションに資金を出してください。

顧客とユーザー

何が影響を受けているか、何が行われているか、次にいつ連絡があるかを、すぐに知らされるべきです。見えていることを詳細とともに報告してください。重大インシデントの後は、何が変わったかの明確な説明を期待しましょう。

アジャイル、AI、自動化、アナリティクス

アジャイル

インシデントレビューを、改善を駆動する短いフィードバックループとして扱います。ランブック、アラート、設計に小さな変更を、ステークホルダーに知らせながら素早く加えます。注意:誰も終わらせない長いアクション一覧は、終わらせる短い一覧より悪いものです。

AI

AIは、更新の下書き、タイムラインとチャットの要約、以前の類似インシデントの発見ができます。インシデントリードが説明責任を負い続け、AIの出力は提案です。注意:AIは原因や時刻を捏造することがあり、レビューなしに送られた自動下書きの更新は顧客を誤解させかねません。送る前に必ず確認してください。トピック 5.4 — インシデント、ナレッジ、変更のための生成AIを参照してください。

自動化

診断データの収集、適切な人の呼び出し、レビュー済みの再起動の実行のような、安全で繰り返せる対応の手順を、ログと制限とともに自動化します。注意:インシデント中に作用する自動化は、状況を悪化させることがあります。手動の停止を残し、安全な環境でテストしてください。トピック 6.6 — ランブック自動化と自動修復を参照してください。

アナリティクス

検知、対応、復旧までの時間と、それぞれの分布、繰り返されるインシデントを見ます。注意:平均は最悪のインシデントを隠し、開始と終了の定義はまちまちで、チームの評価に使われる指標はタイムスタンプの操作を招きます。個々のインシデントも調べてください。『サービスマネジメント指標』とトピック 7.3 — 測定とレポートを参照してください。

よくある失敗パターン

  • インシデント中に争われる重大度。 時間が失われます。観察できる事実で定義を書きましょう。
  • 明確なリードがいない。 全員が行動し、誰も決めません。リードを指名し、周知しましょう。
  • サービスが止まっている間に調査する。 復旧が遅れます。まず安全な回避策を適用しましょう。
  • 利用者への沈黙。 不安と繰り返しの接触が増えます。リズムをもって更新しましょう。
  • レビューでの責任追及。 人々が間違いを隠します。非難のないレビューを行い、アクションを追跡しましょう。
  • 英雄への依存。 ひとりがすべてを直します。知識を共有し、ランブックを書きましょう。
  • 制限のない自動アクション。 自動化がインシデントを悪化させます。制限、ログ、手動の停止を加えましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
重大度とプロセス 場当たり的 非公式なレベル 期待される対応を伴う定義されたレベル レベルがデータとともにレビューされる プロセスがサービスやパートナーをまたいで適応する
役割と練習 即興 一部の役割が指名される 役割が定義され、リハーサルされる 演習が測定され、改善される 演習がサプライヤーや顧客と共有される
コミュニケーション 不定期 思い出したときに更新する 重大度ごとの更新のリズムとチャネル コミュニケーションの質がレビューされる チーム、顧客、パートナーをまたいで一貫している
学習 責任追及 時折のレビュー アクションが追跡される、非難のないレビュー 再発が測定され、減らされる 学びが組織全体で共有される

チェックリスト

  • 重大度のレベルが、観察できる事実と期待される対応で定義されている。
  • インシデントの役割が指名され、リハーサルされている。
  • エスカレーションのトリガーが書き留められている。
  • 重大なインシデントでライブのタイムラインを保っている。
  • 重大度ごとに更新の間隔とチャネルが決まっている。
  • オンコールの負荷が制限され、監視されている。
  • レビューが非難なしで行われ、アクションが完了まで追跡される。
  • インシデントで使うAIと自動化に、オーナー、制限、レビューがある。

AIプロンプト

レビューのためにインシデントのタイムラインを要約する。

Here are the chat messages and notes from an incident, with times and names removed: [paste text].
Produce a timeline of key events, a list of decisions and who made them (by role only), what helped, what slowed us down, and questions for the review. Use only the text and mark anything uncertain.
List what you are unsure of.

レビュー用にステータス更新を下書きする。

Facts we know: [paste confirmed facts]. Facts we do not know: [list]. Next update in: [time].
Draft a status update of under 80 words in plain language that states what is affected, what we are doing, and when the next update is due. Do not speculate about causes or give an estimate for recovery that is not in the facts.
List what you are unsure of.

重大度の定義を確認する。

Our severity definitions: [paste]. Here are three past incidents with their impact: [paste].
For each incident, say which level the definitions suggest, quote the words you used, and note where the definitions were ambiguous. Do not change the definitions.
List what you are unsure of.

AIスキル

  • incident-response-plan: インシデント対応の役割、重大度、手順を定義するときに使います。
  • postmortem: アクションを追跡する、非難のないレビューを実施するときに使います。
  • runbook: 既知の障害への対応手順を記録するときに使います。
  • crisis-communication-plan: 利用者とステークホルダーへの更新を計画するときに使います。
  • on-call-rotation: 持続可能なオンコールの仕組みを設計するときに使います。

主要な情報源

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapters on incident response and postmortems, free at sre.google: 大規模な運用者による実践的な指針。
  • PeopleCert, ITIL certification pages: インシデント管理のプラクティスについての所有者の説明。
  • Wikipedia, "Incident management": プラクティスの概観。
  • Wikipedia, "Incident Command System": 技術的なインシデントの役割に影響を与えた緊急事態管理のモデル。

参考文献

  1. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  2. Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
  3. Mean time to recovery — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_to_recovery
  4. Escalation — Wikipedia — https://en.wikipedia.org/wiki/Escalation
  5. Crisis communication — Wikipedia — https://en.wikipedia.org/wiki/Crisis_communication
  6. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  7. Workaround — Wikipedia — https://en.wikipedia.org/wiki/Workaround
  8. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  9. Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/