問題管理
問題管理は、インシデントの原因を見つけて取り除き、既知のエラーを回避策とともに記録し、アクションが改善のバックログに載る非難のないレビューを実施します。サービスチームが同じ障害を何度も直し続けるのをやめるための方法です。
なぜ重要か
インシデントをうまく扱えるチームでも、ある循環にはまってしまうことがあります。同じ種類の障害が毎月戻ってきて、対応者は同じ回避策を適用し、コストが積み上がります。失われる利用者の時間、疲れたオンコールのスタッフ、何も良くならないという感覚の広がり。インシデント管理はサービスを復旧しますが、再発を止めるものではありません。
それを止めるのが問題管理というプラクティスです。なぜインシデントが起きるのか、何があれば防げるのかを問い、答えを行動できる人に割り当てます。また、まだ修正されていない障害について分かっていることの記録を残し、次の対応者がゼロから始めないようにします。
アジャイルチームにとって、このプラクティスは継続的改善に自然に収まります。発見事項がバックログの項目になり、機能と同じひとつのリストで競い合います。弱点は、たいてい方法ではなく優先順位です。誰かが再発のコストを見えるようにしない限り、原因の修正は新しい仕事に負けがちです。このトピックは、プラクティスと、原因を見つけるための主な方法、そして発見事項がレポートの中で死なないようにする方法を説明します。インシデント管理(トピック 3.2 — インシデント管理)、ナレッジ管理(トピック 3.9 — ナレッジ管理)、継続的改善(トピック 3.15 — 継続的改善)と近いパートナーです。
中核となる概念
問題。 ITIL 4では、ひとつ以上のインシデントの原因、または潜在的な原因です。問題は修正より前から存在し、インシデントを引き起こしていると分かっている場合も、疑われているだけの場合もあります。すべてのインシデントが問題記録につながるわけではありません。
既知のエラー。 分析されたが解決されていない問題で、多くの場合、文書化された回避策を伴います。WikipediaはITILでの用法として説明しています。既知のエラーの記録があれば、サービスデスクや対応者は回避策を素早く見つけ、恒久的な修正の状況を確認できます。
回避策。 原因を直さずに、影響を減らす、あるいは避ける方法です。回避策は暮らしを耐えられるものにしますが、放置によって恒久的なものになりえます。良い記録は、回避策、それを適用してよい人、本当の修正の予定日を述べ、一時的なものが気づかないうちに恒久的にならないようにします。
活動。 インシデントの傾向、監視、レビューから問題を見つける問題の特定。原因を分析し既知のエラーを文書化する問題の管理。既知のエラーが解決されるか受け入れられるまで管理するエラーの管理。ITILはこれらを、別々のプロセスではなく、ひとつのプラクティスの部分として説明しています。
事後対応型と事前対応型。 事後対応型の問題管理は、すでに起きたインシデントに対応します。事前対応型の問題管理は、ヒヤリ・ハット、アラートの傾向、変更のレビューを調べることなどによって、インシデントを引き起こす前に弱点を探します。
根本原因分析。 問題の根本的な原因を見つけるための手法の一群です。Wikipediaは根本原因分析を説明し、一般的な技法を挙げています。よく知られたものには次のようなものがあります。
- なぜを五回:行動に移せる原因に至るまで、繰り返し「なぜ」と問う。
- 特性要因図(石川図またはフィッシュボーン):議論を導くために、考えられる原因をカテゴリー別に並べる。
- フォールトツリー分析:障害から、それを引き起こしうる事象の組み合わせへと遡る。
- パレート分析:件数を使って、大半のインシデントの背後にある少数の原因を見つける。
- 故障モード影響解析(FMEA):システムの各部分について、どう故障しうるか、何が続くかを調べる。
原因についての注意。 複雑なシステムに、単一の根本原因があることはまれです。Wikipediaが説明するスイスチーズモデルは、障害を、複数の防御の層にある弱点が一直線に並ぶことと描きます。「その」根本原因を探すと、最初の都合のよい説明で止まりがちです。寄与要因を挙げ、どれを変えるのが最も安く価値が高いかを決めるほうが、たいてい有用です。
非難のない文化と公正な文化。 責任追及は学習を止めます。人々は間違いを隠し、レビューは防御的になります。非難のないレビューは、その時点でシステムの何がその行動を妥当に見せたかを見ます。Wikipediaが説明する公正な文化は、誠実な誤りと無謀な行動を区別し、それぞれを異なって扱います。Wikipediaのヒューマンエラーと後知恵バイアスの記事は、なぜ「誰かが知っているべきだった」がほとんど有用な発見にならないかを説明しています。
ポストモーテム。 重大なインシデントの後に書かれるレビューで、何が起き、影響、タイムライン、寄与要因、うまくいったこと、アクションを扱います。Wikipediaのポストモーテム文書の記事を参照してください。良いポストモーテムは読まれ、行動に移されます。悪いものはしまい込まれます。
問題の優先順位づけ。 問題は常にキャパシティより多くあります。影響(失われた利用者の時間やコスト)、頻度、修正の安さで順位づけします。再発のコストを示します。Wikipediaが説明する技術的負債には、先送りされた既知の問題が含まれます。それを追跡すれば、選択が見えるようになります。
変更への連携。 問題の修正には、通常、変更が必要です。通常の変更のプラクティスを通じて提起し、修正が確認されたら問題記録を閉じるようにします。トピック 3.4 — 変更実現を参照してください。
ナレッジへの連携。 既知のエラーとその回避策は、サービスデスクとオンコールのスタッフが見つけられるナレッジ記事に載るべきです。トピック 3.9 — ナレッジ管理を参照してください。
レンズはどう当てはまるか。 問題管理は、アジャイルの改善が運用と出会う場所です。発見事項はバックログに入り、公然と競います。AIは、レビューのもとで、インシデントのクラスタリング、候補となる問題の提案、ポストモーテムの下書きができます。自動化は、再発を検知し、テスト済みの回避策を適用できます。アナリティクスは、再発とコストを示します。
ベストプラクティス
- 単一のインシデントだけでなく、パターンを探す。 インシデントを、サービス、コンポーネント、変更、時間帯ごとに、繰り返しがないか定期的にレビューします。パターンが現れたら、問題を起票します。
- 見える問題リストを持つ。 各問題を、オーナー、関連するインシデント、影響、回避策、計画とともに記録します。対応者がリストを読みやすくします。
- 既知のエラーを回避策とともに文書化する。 疲れたオンコールの人が従えるように書き、サービスデスクのナレッジベースにリンクします。
- 問題に合った手法を選ぶ。 単純なケースにはなぜを五回、グループ議論にはフィッシュボーン、複雑な障害にはフォールトツリー、焦点を見つけるにはパレート図を使います。小さな問題に重い手法を当ててはいけません。
- ひとりの犯人ではなく、寄与要因を挙げる。 障害を可能にしたすべての条件を挙げ、どれが変更するのに現実的かを評価します。「ヒューマンエラー」で終わる発見は避けます。
- 非難のないレビューを開く。 関わった人々を招き、ルールを述べ、システムに焦点を当てます。書かれたレビューを広く共有します。
- アクションを具体的にし、オーナーを置く。 各アクションには、名前のある人、期日、完了を確認する方法があります。チームが実際に仕事をするバックログに載せます。
- 直さないことのコストを示す。 問題ごとに、インシデントの時間、利用者への影響、オンコールの負荷を集計し、優先順位づけにその合計を使います。優先順位を決める人々に提示します。
- ループを閉じる。 修正がリリースされたら、インシデントが止まることを確認し、ナレッジ記事を更新し、記録を閉じます。問題が残っているなら、再び開きます。
- プラクティスを見直す。 開いている問題の数、継続期間、繰り返しのインシデントが減っているかを確認します。修正する価値のない問題は、記録された決定とともに終了させます。
チームで話し合うための問い
過去六か月に三回以上起きたインシデントはどれで、なぜまだ起き続けているのか。 実際の例から始めます。「手が回らなかった」と「原因が分からない」が混ざって出てくると予想できます。それぞれの再発にいくらかかったかを尋ねてください。さらに掘り下げるために、修正するものをひとつ、正式に受け入れるものをひとつ選びます。
どの問題を最初に直すかをどう決め、誰が決めるのか。 優先順位づけは暗黙のことが多いです。声の大きい人が勝つ、と聞くかもしれません。どんなデータを使っているかを尋ねてください。さらに掘り下げるために、基準を合意し、上位五つの問題のコストを示します。
最後にレビューで「ヒューマンエラー」と書いたとき、システムは何を許していたか。 これは非難のないプラクティスを試します。過去のレビューを取り上げ、何がその行動を取りやすくしたかを尋ねます。欠けていた防止策、不明確な情報、時間の圧力を探します。さらに掘り下げるために、その発見をシステムの観点で書き直します。
既知のエラーと回避策はどこにあり、疲れた人が午前3時にそれを見つけられるか。 チャットのスレッドに散らばった知識は見つけにくいものです。一緒にひとつ探してみてください。遅れが予想されます。さらに掘り下げるために、ひとつの場所と名前の付け方の習慣を合意します。
直近三回のレビューのアクションのうち、まだ開いているものはどれで、なぜか。 これはやり遂げる力を試す問いです。機能の仕事との競合が予想されます。両者の間の優先順位を誰が決めるかを尋ねてください。さらに掘り下げるために、問題のアクションのためのキャパシティの割合を合意します。
AIは、インシデントのパターンを見つけるのにどう役立ち、それが正しいことをどう確認するか。 AIはインシデントをグループ化し、原因を示唆できます。偽のパターンも見つけます。誰がどうレビューするかを尋ねてください。さらに掘り下げるために、サンプルでAIのグループ化と手作業のものを比べます。
実践:サービスマネジメントの例
ある大学の学習プラットフォームのチームは、数週間おきに繰り返されるインシデントを抱えています。締め切り間際に、学生が課題を提出できなくなるのです。サービスデスクは毎回同じ回避策、つまりキューサービスの再起動を適用し、15分以内に提出が回復します。そのたびにインシデントは閉じられ、忘れられます。
サービスオーナーは、これを問題として扱うことを提案します。彼女は直近の九件のインシデントを集め、それぞれの時刻、そのときの負荷、前の週に行われた変更を記録します。パレート分析は役に立ちません。原因のカテゴリーがひとつだからです。しかしタイムラインは、すべてのインシデントが提出が急増する締め切りの一時間以内に起きたことを示します。開発者と運用によるフィッシュボーンの議論は、寄与要因を挙げます。キューサービスにはメモリの固定上限がある。いっぱいになる前に警告するアラートがない。最近の変更で提出物ひとつあたりのサイズが大きくなった。キャパシティ計画に締め切りのピークが含まれていなかった。
チームは三つのアクションを挙げます。メモリの上限を上げて新しいピークをテストする、容量の70パーセントでアラートを加える、サービスデスクが回避策と修正の状況を見られるよう既知のエラーの記事を書く。キャパシティのレビューに締め切りのカレンダーも加えます。サービスオーナーは経営陣に、この問題が三か月で約15時間の学生への支障と九回のオンコールの割り込みを生んだことを示し、作業は小さな機能の前に予定されます。
何が変わったか。次の締め切りは何事もなく過ぎ、アラートが72パーセントで一度鳴り、行動する時間が得られました。何がまだ難しいか。上限の変更は一時しのぎでした。キューサービスは、より大きなファイルに向けて再設計が必要で、それは次の学期のロードマップと競合します。コストの数字はチケットの時間からの見積もりです。レビューは、以前のサイズの変更が適切にテストされていたかを見ていません。オーナーは、再設計を、レビュー日を付けて、まだ開いている問題として記録しています。
四つの視点
プロダクトとデリバリーのチーム
問題のアクションを自分たちのバックログの一部として扱いましょう。設計の中の原因を直し、既知の障害を捉えるテストとアラートを加え、レビューに貢献します。問題を運用だけに渡してはいけません。
サービスと運用のチーム
パターンと既知のエラーを記録し、コストと再発のデータを計画に持ち込みましょう。回避策を文書化し、見つけやすい状態に保ちます。人々が安心して参加できるレビューを運営してください。
リーダーシップとガバナンス
繰り返されるインシデントとそのコストを見せるよう求め、それを直すためのキャパシティを守りましょう。レビューの議論の中に、責任追及への恐れがないか注意します。開いている問題の経過期間を追跡してください。
顧客とユーザー
繰り返される問題に原因と修正があるときは、それを聞けるべきです。同じ問題を二度報告するなら、そう伝えてください。それについて何が行われたかを尋ねましょう。
アジャイル、AI、自動化、アナリティクス
アジャイル
問題のアクションを機能と同じバックログに載せてステークホルダーとレビューし、小さな修正を継続的に届けます。注意:問題の仕事が常に機能の後ろに回されれば、バックログは膨らみ、インシデントは続きます。守られたキャパシティの割合を合意してください。
AI
AIは、インシデントのグループ化、変更への関連づけ、候補となる原因の提案、タイムラインからのポストモーテムの下書きができ、人が確認します。それぞれの使用にオーナーを指名してください。注意:AIは原因を捏造したり、パターンを誇張したりすることがあります。提案を仮説として扱い、データで検証してください。トピック 5.2 — AIOpsとトピック 5.4 — インシデント、ナレッジ、変更のための生成AIを参照してください。
自動化
再発の検知、パターンからの問題記録の作成、テスト済みの回避策を、ログと制限とともに自動化します。注意:自動化された回避策は、悪化している問題を覆い隠すことがあります。どれだけの頻度で作動するかを追跡し、エスカレーションのしきい値を設定してください。トピック 6.6 — ランブック自動化と自動修復を参照してください。
アナリティクス
再発率、開いている問題の経過期間とコスト、既知の問題に結び付いたインシデントの割合を見ます。注意:解決した問題の数は、早期にクローズしたり、分割したりすることで操作されえます。インシデントが実際に減っているかを確認してください。『サービスマネジメント指標』とトピック 7.3 — 測定とレポートを参照してください。
よくある失敗パターン
- インシデントは直しても、原因は決して直さない。 回避策が恒久的になります。パターンが現れたら、問題を起票しましょう。
- 単一の根本原因の探索。 チームが都合のよい答えで止まります。寄与要因を挙げ、どれを変えるかを選びましょう。
- 責任追及。 人々が誤りを隠します。非難のないレビューを行い、システムの変更を追跡しましょう。
- オーナーのいないレポート。 アクションが列挙されても、実行されません。オーナー、期日、レビューを割り当てましょう。
- コストが示されない。 問題が機能に負けます。再発のコストを集計しましょう。
- 見つけにくい既知のエラー。 対応者がゼロから始めます。検索できる場所をひとつ保ちましょう。
- 確認せずに閉じる。 修正が機能しません。閉じる前にインシデントが止まることを確認しましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| 特定 | 大きなインシデントの後のみ | 一部の繰り返しのインシデントがレビューされる | 定期的なパターンのレビューが問題を起票する | 傾向とヒヤリ・ハットが事前対応で使われる | 問題がサービスをまたいで自動的に見つかる |
| 分析 | 当て推量 | 非公式な手法 | 問題の種類ごとの標準的な手法 | 手法の質がレビューされる | 分析がチームとパートナーをまたいで共有される |
| 既知のエラー | 頭の中にある | 一部が文書化されている | 回避策とともに、見つけやすい場所に記録される | 利用と正確さがレビューされる | サービスをまたいで自動化とナレッジに結び付く |
| アクションと学習 | 責任追及と失われるアクション | 時折のフォローアップ | バックログにオーナー付きのアクションがあり、非難のないレビューがある | 再発とアクションの完了が測定される | 学びが組織全体で共有され、適用される |
チェックリスト
- インシデントを、繰り返しがないか定期的にレビューしている。
- オーナーとコストを伴う、見える問題リストを保っている。
- 既知のエラーと回避策が、見つけやすい場所に文書化されている。
- レビューは非難なしで行われ、寄与要因を挙げている。
- すべてのアクションに、オーナー、期日、完了を確認する方法がある。
- 問題の仕事に、バックログ上で守られたキャパシティがある。
- 問題を閉じる前に、修正を確認している。
- 分析に使うAIに、オーナーとサンプルのレビューがある。
AIプロンプト
繰り返されるインシデントを見つける。
Below is a list of incidents with dates, services, short descriptions, and resolutions, with names removed: [paste list].
Group those that look like repeats, state what they have in common, and list for each group two questions to investigate. Do not name causes. Mark groups you are unsure of.
List what you are unsure of.
レビューを寄与要因の一覧に変える。
Here is a postmortem draft: [paste, names removed].
List contributing factors in categories (technical, process, information, people and workload, suppliers), quoting the text for each, and list what the draft does not say about each. Do not assign blame or add causes.
List what you are unsure of.
再発のコストを見積もる。
For problem [name] we have these records: incident count, duration of each, users affected, on-call interruptions: [paste data].
Calculate total hours, hours per incident, and per month, showing every step. State what data is missing for a fair cost estimate. Do not guess missing numbers.
List what you are unsure of.
AIスキル
- root-cause-analysis: 適切な手法で原因を分析するときに使います。
- fishbone-diagram: グループ議論で、考えられる原因を整理するときに使います。
- postmortem: 非難のないレビューを書き、フォローアップするときに使います。
- cause-and-effect-diagram: 原因と結果を図にするときに使います。
- risks-actions-issues-decisions: アクションを完了まで追跡するときに使います。
主要な情報源
- Sidney Dekker, The Field Guide to Understanding "Human Error": 個人を責めることがなぜ失敗し、代わりに何を見るべきかについて。
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on postmortem culture, free at sre.google.
- PeopleCert, ITIL certification pages: 問題管理のプラクティスについての所有者の説明。
- Wikipedia, "Root-cause analysis" and "Postmortem documentation": 手法と文書の概観。
参考文献
- Root-cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root-cause_analysis
- Known error — Wikipedia — https://en.wikipedia.org/wiki/Known_error
- Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
- Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
- Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
- Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
- Pareto principle — Wikipedia — https://en.wikipedia.org/wiki/Pareto_principle
- Swiss cheese model — Wikipedia — https://en.wikipedia.org/wiki/Swiss_cheese_model
- Just culture — Wikipedia — https://en.wikipedia.org/wiki/Just_culture
- Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
- Technical debt — Wikipedia — https://en.wikipedia.org/wiki/Technical_debt