インシデント、ナレッジ、変更のための生成AI
生成AIは、インシデントの要約、ナレッジ記事とポストモーテムの下書き、変更の評価の補助ができます。最初の下書きで最も多くの時間を節約し、事実では最も少ししか節約しません。書くことと読むことに使い、すべての主張を記録と照合して確認し、送られるもの、承認されるものに名前のある人が説明責任を負い続けてください。
なぜ重要か
サービスを運営する仕事の多くは、書くことと読むことです。インシデントの間、誰かがステータスの更新を書き、他の人はチャットのログを読みます。その後、誰かがタイムラインとレビューを書きます。ナレッジ記事は、読めるものに変える必要のあるチケットの解決メモとして始まります。変更リクエストには、説明、リスク評価、計画が必要です。これらのタスクは時間がかかり、反復的で、誰もが忙しいために、遅く、下手に行われることがよくあります。
生成AIは、この種の仕事によく適しています。大規模言語モデルは、長いスレッドを読み、数秒で要約を作れます。大まかなメモをきれいな下書きに変え、レビューの構成を提案できます。うまく使えば、熟練した人々を判断と対話のために解放します。下手に使えば、自信たっぷりで流暢だが誤ったテキストを生みます。作り話の時刻を含むタイムライン、誰も見つけていない根本原因、存在しないランブックの手順。
違いは、仕事の設定の仕方にあります。モデルに実際の記録を与え、それだけを使うよう求め、情報源を示させ、何かが共有される前に人が確認する。このトピックは、三つの領域、つまりインシデント、ナレッジ、変更のための実践的なパターンを示します。トピック 5.1 — サービスマネジメントにおけるAIの一般的な考え方を土台とし、インシデント管理(トピック 3.2 — インシデント管理)、問題管理(トピック 3.3 — 問題管理)、ナレッジ管理(トピック 3.9 — ナレッジ管理)、変更実現(トピック 3.4 — 変更実現)と関連します。ガバナンスの問いは、トピック 5.6 — AIのガバナンス、リスク、コンプライアンスにあります。
中核となる概念
生成AI。 プロンプトから、テキストやコードのような新しい内容を生み出すシステムです。Wikipediaが生成AIと大規模言語モデルを説明しています。サービスの仕事では、テキストが主な出力です。要約、下書き、説明、構造化されたメモ。
ハルシネーション。 流暢だが、裏づけがない、あるいは誤っている出力です。WikipediaがAIにおけるハルシネーションを説明しています。これらのモデルの仕組みの性質であり、まれなバグではありません。リスクは、与えられていない事実、つまり正確な時刻、原因、方針の番号、APIのオプションを求められたときに最も高くなります。
グラウンディング(根拠づけ)。 モデルに情報源の素材を与え、それだけから答えるよう求めることです。Wikipediaが説明する検索拡張生成は、関連する文書を見つけて提供します。インシデントでは、情報源はタイムライン、チャット、監視データ、ナレッジではチケットと既存の記事、変更では変更記録と過去の類似の変更です。グラウンディングは誤りを減らしますが、なくしはしません。
コンテキストウィンドウ。 モデルが一度に考慮できるテキストの量です。Wikipediaがコンテキストウィンドウを説明しています。長いインシデントのチャットはそれを超えることがあるため、長い入力は部分ごとに要約されます。重要な素材が落とされていないか確認してください。
要約。 長いテキストを主要な点に縮めることです。Wikipediaが自動要約を説明しています。要約は設計上、詳細を失い、歪めることもあります。原本への案内として、確認する手段とともに使うのが最善です。
決定ではなく、下書き。 最も安全な使い方は、人が編集し所有する最初の下書きを作ることです。結果には人の名前が付き、その人が説明責任を負います。これにより判断が人に残り、モデルは機械的な部分に使われます。
プロンプトと指示。 モデルに与えるテキストです。役割、タスク、情報源、形式、情報が欠けているときの対処を含む明確な指示は、結果を改善します。トピック 5.7 — AIスキルとプロンプトを参照してください。
機密性。 インシデントのチャットとチケットには、しばしば秘密、個人データ、セキュリティの詳細が含まれます。テキストがどこに行くかが重要です。自組織がホストするモデル、契約下のベンダーのサービス、条件の分からない公開のツール。何をどこに送ってよいかを決めます。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。
プロンプトインジェクション。 チケットの本文やログの行のように、モデルに与える素材の中のテキストが、その振る舞いを変えようとする指示を含みうるものです。Wikipediaがプロンプトインジェクションを説明しています。すべての入力を信頼できないものとして扱い、行動する権限を持つモデルに、未知の情報源の内容を読ませてはいけません。
自動化バイアス。 特に疲れていたり忙しかったりするときに、自動化された提案を信頼する傾向です。Wikipediaが自動化バイアスを説明しています。インシデントの最中に、流暢な提案が対応者を誤った道へ導きうるのです。AIの出力は仮説として扱ってください。
インシデント。 有用なタスクには、新しい対応者向けにスレッドを要約する、レビューのためのステータス更新を下書きする、記録からタイムスタンプ付きの出来事のタイムラインを抽出する、類似の過去のインシデントを見つける、レビューのための問いを提案する、があります。リスクのあるタスクには、根本原因を事実として述べることと、レビューなしに顧客へ更新を送ることがあります。
ナレッジ。 有用なタスクには、解決済みのチケットを記事の下書きに変える、記事を平易な言葉で書き直す、タイトルとタグを提案する、重複を見つける、があります。リスクのあるタスクには、技術的な確認なしに下書きを公開することと、モデルが正しい修正を知っていると頼ることがあります。
変更。 有用なタスクには、変更の説明に欠けている情報を確認する、大きなプルリクエストを要約する、テストケースを提案する、過去の類似の変更からリスク要因を一覧にする、があります。リスクのあるタスクには、変更を承認することや、モデルの言葉だけでそのリスクを「低」と評価することがあります。
コードとスクリプト。 モデルは、スクリプト、クエリ、構成を下書きできます。Wikipediaがより広い意味でのコード生成を説明しています。生成されたコードには、誤り、セキュリティの欠陥、ライセンスの問題が含まれえます。信頼できないコードとして扱い、レビューし、テストし、パイプラインを通してください。トピック 3.4 — 変更実現とトピック 4.2 — ソフトウェア資産管理を参照してください。
記録と監査。 AIがどう使われたかの記録、つまりプロンプト、与えられた情報源、出力、レビューした人、変更されたことを保ちます。Wikipediaが監査証跡を説明しています。学習と説明責任を支えます。
レンズはどう当てはまるか。 生成AIは、AIのレンズの最も目に見える形のひとつです。アジャイルのプラクティスは、その仕事をする人々からのフィードバックを得る短い試行を示唆します。自動化は、レビューのゲートを置いて、下書きをツールに流し込めます。アナリティクスは、どの使用が時間を節約し、どれが手戻りを生むかを示します。
ベストプラクティス
- 記録を与え、それだけを使うよう言う。 実際のタイムライン、チケット、変更を貼り付けるか検索し、与えたテキストだけを使うようモデルに指示します。情報が欠けているときは「記載なし」と書かせます。
- 引用と参照を求める。 人が各主張を素早く確認できるよう、モデルに、使った行や記事を引用させます。
- 事実と推論を分ける。 まず記録から取った事実を、次に明確にラベルを付けた仮説を求めます。仮説が発見として現れてはいけません。
- 人のオーナーを保つ。 更新を送り、記事を公開し、変更を承認する人が、モデルが何を下書きしたかにかかわらず、内容を所有します。それをプロセスの中で明示します。
- レビューされていない出力を外部に送らない。 顧客、規制当局、一般へのステータス更新には、人によるレビューと承認が必要です。内部の下書きはリスクが低いですが、それでも確認が必要です。
- データを守る。 内容の機微度に合った承認済みのツールを使います。可能なところでは秘密と個人データを取り除き、認証情報は決して貼り付けません。
- 数字、名前、時刻を確認する。 捏造が最もよく現れる箇所です。下書きのすべての数字を情報源と比べます。
- 実際の事例でテストする。 真実が分かっている過去のインシデントとチケットでこのアプローチを実行し、失敗した箇所を記録します。発見を共有し、指示を更新します。
- 使用を記録する。 AIが助けたことを、情報源とレビューした人とともに記録します。どのタスクが向いているかを学ぶため、訂正を追跡します。
- レビューして廃止する。 どの使用が時間を節約し、どれが手戻りを生むかをレビューします。役立たないものはやめます。
チームで話し合うための問い
私たちのインシデントと変更の仕事で、書くことと読むことのうち、最も時間がかかるものはどれで、リスクが低いものはどれか。 一覧にします。タイムライン、ステータス更新、レビューの下書き、変更の説明が予想されます。リスクで仕分けます。さらに掘り下げるために、AIで試すリスクの低いタスクをひとつ選びます。
AIが書いたインシデントの要約を信頼する前に、何を確認する必要があるか。 時刻、原因、影響を考えます。時刻と原因に確認が必要だという合意が予想されます。さらに掘り下げるために、短いチェックリストを書きます。
AIツールに決して入れてはならない情報は何で、それを守りやすくするにはどうするか。 秘密、個人データ、セキュリティの詳細を一覧にします。何がそれに当たるかについての混乱が予想されます。さらに掘り下げるために、単純なルールと、それ以外のための安全なツールを合意します。
AIの要約や下書きが私たちのナレッジベースを悪くしていたら、どうやって気づくか。 誤った手順と、繰り返される誤りを考えます。「気づかない」が予想されます。さらに掘り下げるために、毎月、AIが支援した記事の正確さをサンプリングします。
変更のリスクをAIに提案させるのは、どんなときで、誰が決めるか。 議論してください。承認への慎重さと、欠けている情報についてのプロンプトへの安心が予想されます。さらに掘り下げるために、AIは問いと類似の過去の変更を提案してよく、リスクは人が評価する、と合意します。
私たちのチームで、AIの出力の確認が得意なのは誰で、そのスキルをどう広げるか。 確認はスキルです。自信のある少数の人が予想されます。さらに掘り下げるために、チームが欠陥のある下書きを一緒に確認する短い演習を行います。
実践:サービスマネジメントの例
ある国の鉄道の運用技術チームは、信号支援システムを運用しています。大きなインシデントのたびに、エンジニアがチャットのログ、監視のグラフ、チケットのメモから、半日かけてレビューを書きます。レビューは遅く、最近のものは内容が薄いものでした。
チームリードは、入力を保持も訓練への利用もしないベンダーとの鉄道の契約のもとでホストされる生成AIアシスタントを、レビューの最初の下書きのために試します。インシデントごとに、エンジニアはチャットのログとチケットの履歴をエクスポートし、スタッフの名前を取り除き、アシスタントに次の指示を与えます。与えたテキストだけを使う。各項目が情報源の行を引用するタイムラインを作る。影響を、記載されているとおりに一覧にする。何が役立ち、何が対応を遅らせたかを一覧にする。テキストにないものは「記載なし」と印を付ける。仮説は、そうラベルを付けた別のセクションに置く。
過去のインシデントでの最初のテストでは、下書きのタイムラインは、再起動の時刻が02:15とされていることを除いて正確でした。チャットは「15分頃だと思う」と言い、チケットは02:22とあります。エンジニアは訂正します。下書きはまた、原因として「故障したネットワークスイッチ」を挙げていましたが、これはチャットでは後で否定された推測として現れます。レビューは指示どおりにそれを仮説に移しましたが、否定されたことは記していませんでした。エンジニアは両方を直し、四時間ではなく二時間で下書きをチームに送ります。
十件のインシデントの後、チームは最初の下書きにかかる時間が約三分の一になったと見積もります。彼らは、エンジニアが毎回、すべての時刻と原因を情報源と照らして確認することと、レビューにAIが最初のバージョンを下書きしたことを記録する、というルールを加えます。また、変更記録のリスク評価にはまだAIを使わないことも決めます。
何が変わったか。レビューは一日以内に届き、何が役立ったかについての詳細が増えました。何がまだ難しいか。エンジニアは、証拠が弱くしか裏づけない原因についてのモデルの言い回しを受け入れてしまうことがあります。エクスポートされたチャットに、機密の詳細が残ることがときどきあります。ひとりのエンジニアは、下書きのスキルが衰えることを心配しています。リードは、エンジニアがAIなしでレビューを一件書き、比較する四半期ごとのセッションを予定しました。
四つの視点
プロダクトとデリバリーのチーム
AIを使って、自分たちの記録から変更の説明、テストのアイデア、リリースノートを下書きし、レビューしましょう。生成されたコードを、信頼できないものとして扱い、他の変更と同様にテストしスキャンしてください。
サービスと運用のチーム
AIを使って、スレッドを要約し、更新、レビュー、記事を、情報源を添えて下書きしましょう。すべての時刻、名前、原因を確認し、公開するものを所有してください。
リーダーシップとガバナンス
データと承認のルールを設け、それを満たすツールに資金を出しましょう。節約された時間と、捕捉された誤りの証拠を求めます。AIの出力を事実の記録として受け入れてはいけません。
顧客とユーザー
人が確認した更新を受け取るべきです。受け取ったものに誤りを見つけたら、提供者に伝えましょう。伝えられる内容にAIがどう使われているかを尋ねてください。
アジャイル、AI、自動化、アナリティクス
アジャイル
その仕事をする人々と、一度にひとつの執筆タスクを試し、フィードバックを集め、指示を改善します。レビューは短く頻繁にします。注意:下書きが速くなったからといって、振り返りを短くしてはいけません。レビューの価値は学びにあります。
AI
あらゆる使用を記録に基づかせ、情報源を示し、人に説明責任を持たせ続けます。過去の事例でテストし、AIの使用を記録します。注意:流暢なテキストは弱い証拠を隠します。モデルに確信度と情報源のラベルを付けさせ、それを確認してください。トピック 5.7 — AIスキルとプロンプトを参照してください。
自動化
配管を自動化します。記録をエクスポートし、秘密を取り除き、モデルを呼び出し、下書きをチケットに添付し、レビュアーに通知する。公開の前にレビューのゲートを残します。注意:下書きを自動的に公開するパイプラインは、誤りを広げます。承認を必須にしてください。トピック 6.2 — ワークフロー自動化とオーケストレーションを参照してください。
アナリティクス
レビューを作るのにかかる時間、下書きへの編集、見つかった誤り、タスクの種類ごとの利用を追跡します。注意:作成された下書きを数えると量に報い、節約された時間はしばしば推定です。最終的な文書の質をサンプリングしてください。『サービスマネジメント指標』とトピック 7.3 — 測定とレポートを参照してください。
よくある失敗パターン
- 記憶からの事実。 モデルが時刻と原因を捏造します。記録を与え、引用を求めましょう。
- レビューされていない外部への更新。 誤った情報が顧客に届きます。人による承認を必須にしましょう。
- プロンプトの中の秘密。 機微なデータが漏れます。承認済みのツールを使い、秘密を取り除きましょう。
- 承認印だけのレビュー。 レビュアーが確認せずに下書きを受け入れます。チェックリストを用意し、レビューをサンプリングしましょう。
- モデルを操作する入力。 敵対的なテキストが振る舞いを変えます。入力を信頼できないものとして扱いましょう。
- リスクの評価にAIを使う。 流暢な「低」が信頼されます。AIは問いを立てるために使い、リスクは人が評価しましょう。
- スキルの衰え。 人々が書くことと確認することをやめます。練習とレビューの質を保ちましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| 利用 | 個人の実験 | 共有されたコツ | インシデント、ナレッジ、変更の承認済みパターンがある | パターンが結果に照らしてレビューされる | パターンがガバナンスとともにツールに統合される |
| 根拠づけと確認 | モデルの記憶 | 一部の情報源が示される | 情報源が引用され、事実が記録と照らして確認される | 誤りが追跡され、フィードバックされる | 検証の一部が自動化され、人が承認する |
| データ保護 | 不明確 | 認識されている | 承認済みのツールとルールがある | コンプライアンスが監視される | 統制がツールとパイプラインに組み込まれる |
| 説明責任 | 不明確 | 非公式 | 各出力に名前のあるオーナーがいる | オーナーとレビューが監査される | 説明責任がサービスをまたいで統合される |
チェックリスト
- 生成AIのために、リスクの低い少数の執筆タスクを選んだ。
- モデルに記録を与え、それだけを使うよう伝えている。
- 出力が情報源を引用し、事実と仮説を分けている。
- 共有される前に、名前のある人があらゆる出力を所有しレビューする。
- 機微な内容には承認済みのツールを使い、秘密を取り除いている。
- 時刻、名前、数字、原因を情報源と照らして確認している。
- AIが助けたことと、レビューした人を記録している。
- AIに単独で変更を承認させたり、根本原因を述べさせたりしない。
AIプロンプト
情報源付きのインシデントのタイムラインを作る。
Below is the chat log and ticket history of an incident, with names removed: [paste].
Produce a timeline table with columns: time (exactly as written; write "not stated" if no time), event, and the quoted source line. Then list impact as stated in the text, and a separate section "Hypotheses mentioned" with who raised each and whether the text shows it was confirmed or ruled out. Do not add anything not in the text.
List what you are unsure of.
解決済みのチケットからナレッジ記事を下書きする。
Here is a resolved ticket with notes, personal data removed: [paste]. Here are existing articles on related topics: [paste titles and summaries].
Draft a new article with a title in plain words, symptom, steps, and how to check it worked. Use only the ticket. Mark missing information with [missing], and list existing articles that might duplicate this one.
List what you are unsure of.
変更の説明を確認する。
Here is a change description: [paste]. Our required items: [list].
List which required items are missing or unclear, list questions a reviewer should ask, and list any statements in the description that look inconsistent with each other. Do not rate the risk or recommend approval.
List what you are unsure of.
AIスキル
- postmortem: AIが下書きし、人が所有するインシデントレビューを構造化するときに使います。
- prompt-engineering: 明確で根拠のある指示を書くときに使います。
- runbook: 手順を、確認されテストされたランブックに変えるときに使います。
- release-notes: レビュー用のリリースノートを下書きするときに使います。
- change-request: 良い変更の説明に何が含まれるかを定義するときに使います。
主要な情報源
- NIST, AI Risk Management Framework: AI利用のリスクを特定し管理するための構造。
- OWASP, guidance on risks for applications built on large language models (owasp.org): プロンプトインジェクションと関連するリスクについてのコミュニティの助言。
- Wikipedia, "Generative AI" and "Hallucination (artificial intelligence)": 技術とその主要な失敗モードの概観。
- Wikipedia, "Automation bias": 人々が自動化された提案を過信する理由。
参考文献
- Generative AI — Wikipedia — https://en.wikipedia.org/wiki/Generative_AI
- Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
- Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Automatic summarization — Wikipedia — https://en.wikipedia.org/wiki/Automatic_summarization
- Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
- Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
- Context window — Wikipedia — https://en.wikipedia.org/wiki/Context_window
- Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
- OWASP — OWASP Foundation — https://owasp.org