サービスマネジメントにおけるAI
人工知能は、サービスデスク、運用、ナレッジ、変更、意思決定支援を通じてサービスマネジメントに入ってきます。それぞれの使用を、オーナー、害が起こりうる場面で判断する人、誤りを捉える手段、役立っているかの指標を備えたサービスとして扱ってください。
なぜ重要か
AIは、研究の話題から、サービスチームがすでに使っているツールの機能になりました。チケットシステムがカテゴリーを提案します。監視プラットフォームがアラートをまとめます。チャットアシスタントがスタッフの質問に答えます。コードエディターがスクリプトを下書きします。これらのいくつかはベンダーによって有効にされ、チームの誰もそれを採用すると決めていません。
可能性は本物です。サービスの仕事の多くは、読む、書く、仕分ける、探すことであり、現在のAIが時間を節約するのに十分によくこなすタスクです。リスクもまた本物です。AIシステムは、流暢だが誤りうる答えを出し、結論に至った経緯を隠すことがあり、データを漏らしえ、予測しにくい形で失敗しえます。オーナーシップ、レビュー、指標なしにAIを採用するチームは、便益なしにそれらのリスクを引き継ぎます。
このトピックは、このガイドのAIの部分の地図です。サービスの仕事におけるAIの主な種類、役立つ場面と役立たない場面、採用する前に何を尋ねるべきかを説明します。後続のトピックはより深く扱います。運用(トピック 5.2 — AIOps)、サービスデスク(トピック 5.3 — AIサービスデスクとバーチャルエージェント)、生成AI(トピック 5.4 — インシデント、ナレッジ、変更のための生成AI)、行動するエージェント(トピック 5.5 — エージェント型AIと人による監督)、ガバナンス(トピック 5.6 — AIのガバナンス、リスク、コンプライアンス)、プロンプトとスキル(トピック 5.7 — AIスキルとプロンプト)、運用モデル(トピック 5.8 — AIの運用モデルとスキル)。最新のITILバージョンについての所有者の説明は、AIを、サービスマネジメントが対処しなければならない環境の一部として挙げています(トピック 1.3 — ITIL 5を参照)。
中核となる概念
人工知能。 パターンの認識、言語の理解、推奨など、通常は人間の知能を必要とするタスクを実行するシステムの広い用語です。Wikipediaの人工知能の記事が、この分野とその歴史を説明しています。この用語は多くの異なる技法を覆い、人々が「AI」で意味するものはまちまちです。使用について議論するときは、技法とタスクに名前を付けてください。
機械学習。 明示的なルールに従う代わりに、データからパターンを学習するシステムです。Wikipediaが機械学習とその分野を説明しています。サービスの仕事での例には、チケットの分類、異常なメトリクスの検知、故障の予測があります。訓練データに依存し、条件が変わると劣化しえます。Wikipediaはこの問題をコンセプトドリフトと説明しています。
生成AIと大規模言語モデル。 プロンプトから、テキスト、コード、画像などの新しい内容を生み出すシステムです。大規模言語モデル(LLM)は大量のテキストで訓練され、要約し、下書きし、翻訳し、質問に答えられます。Wikipediaが生成AIと大規模言語モデルを説明しています。出力は流暢ですが、真実であるとは保証されません。
ハルシネーション。 もっともらしいが、誤っている、あるいは裏づけのない出力です。WikipediaがAIにおけるハルシネーションを説明しています。サービスの仕事では、存在しないコマンド、作り話の方針、自信たっぷりだが誤った根本原因を意味しうるのです。備えてください。答えを情報源に基づかせ、情報源を示し、行動する前に確認します。
検索拡張生成。 システムがまずナレッジ記事のような関連文書を検索し、次にモデルにそれだけを使って答えさせるパターンです。Wikipediaがこのアプローチを説明しています。誤った答えを減らしますが、なくしはせず、文書の質に左右されます。トピック 3.9 — ナレッジ管理を参照してください。
エージェント。 答えるだけでなく、ツールを呼び出す、記録を変更する、スクリプトを実行するなど、行動を取るシステムです。Wikipediaが知的エージェントを一般に説明しています。エージェントは、間違いが世界に影響を及ぼすため、リスクを高めます。トピック 5.5 — エージェント型AIと人による監督を参照してください。
サービスマネジメントでAIが役立つ場面。 典型的な使用は五つのグループに分かれます。
| 領域 | 例 | 主な注意 |
|---|---|---|
| サービスデスク | チケットの分類と振り分け、返信の下書き、よくある質問への回答 | 利用者への誤った、あるいは作り話の答え |
| 運用 | アラートのグループ化、異常の発見、原因の提案 | 見逃されたシグナルが隠れる |
| ナレッジ | 検索、要約、記事の下書き | 誤りを広げる下書き |
| 変更とデリバリー | コードとテストの下書き、変更のリスク評価、リリースノートの作成 | 安全でない、あるいは誤ったコード、過信されるリスクスコア |
| 意思決定支援 | データの要約、需要の予測、パターンの発見 | 弱いデータからの過信した結論 |
人が介在する仕組み(ヒューマン・イン・ザ・ループ)。 AIの出力や行動が効力を持つ前に、人がレビューまたは承認します。Wikipediaがヒューマン・イン・ザ・ループのシステムを説明しています。それは統制であり、人がノーと言う時間、情報、権限を持っている場合にだけ機能します。Wikipediaはまた、自動化された提案に過度に頼る傾向である自動化バイアスを説明しており、それが人によるチェックを形だけの承認印に変えうるのです。
説明可能性。 システムがなぜその出力を出したかを言える能力です。Wikipediaが説明可能なAIを説明しています。チケットの順位づけのような使用では大まかな理由で十分ですが、人のアクセスや報酬に影響する決定のような場合は、より多くが必要です。各使用にどれだけの説明が必要かを決めます。
バイアスと公平性。 過去のデータで訓練されたAIは、不公平なものを含め、過去のパターンを再現しえます。Wikipediaがアルゴリズムバイアスを説明しています。サービスの仕事では、バイアスは、誰が速く助けられるか、誰のリクエストに印が付くか、システムが誰の言葉をよく理解するか、に現れえます。
データとプライバシー。 AIツールは、個人の詳細を含むチケットのテキストなど、与えられたデータを処理します。データがどこに行き、どれだけ保持され、他のモデルの訓練に使われるかは、中心的な問いです。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。
セキュリティリスク。 AIシステムには、固有の弱点があります。たとえばプロンプトインジェクションは、文書やメッセージ内のテキストが、モデルに新しい指示を与えようとするものです。Wikipediaがプロンプトインジェクションを説明しています。外部からの入力は、信頼できないものとして扱ってください。
ライフサイクルと運用。 使用中のモデルには、監視、再訓練または置き換え、バージョニング、廃止が必要です。Wikipediaが説明するMLOpsは、これにエンジニアリングの規律を適用します。ベンダーのモデルでも、更新後の振る舞いの変化を追跡する必要があります。
ガバナンスのフレームワーク。 Wikipediaが説明する欧州連合の人工知能法は、リスクの区分に応じた法的義務を定めています。ISO/IEC 42001はAIマネジメントシステムを規定し、米国の国立標準技術研究所はAIリスクマネジメントフレームワークを公表しています。これらはガバナンスのための語彙と構造であり、法的助言の代わりにはなりません。
レンズはどう当てはまるか。 AIは四つのレンズのひとつです。アジャイルのプラクティスは、実際の利用者との小さな試行と短いフィードバックを示唆します。自動化は最も近い隣人です。AIは決めるか提案し、自動化が行動します。アナリティクスは、AIが学習するデータと、AIが役立っているかを示す指標を提供します。
ベストプラクティス
- ツールではなく問題から始める。 チケットの仕分けに費やす時間のような具体的な痛みと、改善の指標を挙げます。そのうえで、AIが正しい答えなのか、より単純な修正で足りるのかを問います。
- AI利用のインベントリを保つ。 ベンダーの機能や、スタッフが仕事に使う個人のツールも含め、使用中のすべてのAI機能とツールを一覧にします。目的、データ、オーナー、ステータスを記録します。
- 各使用にオーナーを置く。 AIが何をし、どのデータを使い、誤ったときに何が起きるかに説明責任を負う人をひとり置きます。オーナーがいなければ、誰も劣化に気づきません。
- 人が決める場所を決める。 各使用について、AIが単独でしてよいこと、レビューが必要なこと、絶対にしてはならないことを書きます。レビューを本物にします。レビュアーに時間と文脈を与えます。
- 答えを自分たちの情報源に基づかせる。 レビュー済みのナレッジからの検索を使い、利用者に情報源を示し、裏づける情報源がないときは明確にそう述べます。
- 公開の前と後にテストする。 答えの分かっている現実的なテストケースの集合を、扱いにくいものや敵対的なものも含めて作ります。リリース前と、モデルやデータが変わるたびに実行します。
- 価値と誤りを測る。 節約された時間、出力の質、人による訂正、利用者の苦情、コストを追跡します。出力を定期的にサンプリングします。
- データを守る。 どのデータをどのツールに送ってよいかを決め、可能なところでは個人や機微な詳細を取り除き、保持と訓練への使用について契約条件を確認します。
- 故障に備える。 AI機能をオフにし、人に振り分け、復旧するのを簡単にします。依存しているAIサービスの故障をリハーサルします。
- スキルを築き、学びを共有する。 人々がAIをうまく使い、疑う訓練をします。何が機能し、何が失敗するかをチーム間で共有します。トピック 5.7 — AIスキルとプロンプトを参照してください。
チームで話し合うための問い
私たちはすでにどこでAIを使っているか。自分たちで選ばなかった機能や、人々が自分で使っているツールを含めて。 全員に尋ね、ベンダーの設定を確認してください。誰の予想よりも長い一覧が予想されます。さらに掘り下げるために、各使用をオーナーとともに記録します。
私たちのタスクのうち、主に読む、書く、仕分けるものはどれで、機械に決めてほしくないものはどれか。 これはタスクを適性で仕分けます。下書きでは合意し、決定では意見が分かれると予想できます。さらに掘り下げるために、試行するリスクの低いタスクをひとつ選びます。
AIアシスタントが利用者に自信たっぷりに誤った答えをしたら、私たちはどうし、どうやって気づくか。 シナリオを順に追ってください。検知のギャップが予想されます。さらに掘り下げるために、出力をサンプリングし、利用者のフィードバックを集める方法を合意します。
私たちはどんなデータをAIツールに送っていて、利用規約を読んだか。 ツールとデータを一覧にします。条件の分からない個人アカウントが予想されます。さらに掘り下げるために、外部のツールに貼り付けてはならないものについてのルールを合意します。
あるAIの使用がコストに見合ったと、どうやって知るのか。 便益の指標と害の指標を求めてください。「速くなった気がする」が予想されます。さらに掘り下げるために、使用をひとつ選び、前後の指標を合意します。
私たちの人々がAIをうまく使うには、どんなスキルが必要で、誰が教えるか。 良いプロンプトを書く、答えを確認する、限界に気づく、を考えます。自信の度合いに幅があると予想できます。さらに掘り下げるために、実際のタスクを使った短い実習を計画します。
実践:サービスマネジメントの例
ある国立公共図書館ネットワークのITチームは、200の分館と約6,000人のスタッフを支援しています。サービスデスクは、印刷、ログイン、貸出システムについての、繰り返しの多い質問を大量に扱っています。サービス責任者はAIでキューを減らしたいと考えており、チケットシステムのベンダーがちょうど、スタッフ向けのチャットで初期設定のまま有効になっているAIアシスタントを追加しました。
サービスマネージャーはまず、AIの使用を一覧にします。ベンダーのアシスタントのほかに、二人のアナリストがチケットの要約に公開のチャットツールを使っていること、開発者が返信を下書きするスクリプトを作っていることを見つけます。それぞれにオーナーを与え、ルールを設けます。公開のツールに個人データは入れない。次に、改善する使用をひとつ選びます。「どうすれば」という質問に、承認済みのナレッジベースだけを使い、情報源へのリンクと、人に届く目立つボタンを添えて答える、スタッフ向けのアシスタントです。
彼女は、実際のチケットから60のテスト質問を作ります。ナレッジベースが答えられない10問も含み、その場合の正しい振る舞いは、そう述べることです。最初のバージョンは、その10問のうち三問に作り話の手順で答えます。チームは指示を厳しくし、合致する記事がないときは断るルールを加え、失敗はひとつに減ります。最初の一か月、デスクのエージェントが、アシスタントが解決しなかったすべての会話と、残りのサンプルを読みます。
何が変わったか。アシスタントは、会話の約三分の一をチケットなしで解決し、エージェントは繰り返しの質問に費やす時間が減りました。何がまだ難しいか。ナレッジベースにはアシスタントが引用する古い記事があり、チームは整理しなければなりません。ベンダーは予告なしに基盤のモデルを変え、一度は一晩で振る舞いが変わりました。小さな分館のスタッフは、電話を好むこともあります。マネージャーは、月次のテスト実行、モデル変更の合意した連絡先、電話が引き続き利用できるという明確なメッセージを設けました。
四つの視点
プロダクトとデリバリーのチーム
通常のレビューとパイプラインのチェックのもとで、AIを使ってコード、テスト、ドキュメントを下書きしましょう。AIを使った箇所を記録し、安全でない、あるいはライセンスのないコードに注意します。自社プロダクトのAI機能を、オーナーのいるサービスとして扱ってください。
サービスと運用のチーム
AIを仕分け、要約、検索に使い、利用者やシステムに影響することは人が決めましょう。誤りとヒヤリ・ハットを報告し、AIが見て言うことの調整を助けてください。
リーダーシップとガバナンス
インベントリ、オーナー、指標、故障への計画を求めましょう。データと判断について明確なルールを設けます。ライセンスだけでなく、研修とテストに資金を出してください。
顧客とユーザー
AIと話していることを知り、人に連絡できるべきです。答えが誤っていたり役立たなかったりしたときは、提供者に伝えましょう。共有する個人データには注意してください。
アジャイル、AI、自動化、アナリティクス
アジャイル
実際の利用者との小さな試行でAIを試し、フィードバックから学び、維持、変更、中止を決めます。AIが何をしてよいかについて、ステークホルダーを関わらせます。注意:成功したデモは、使用が安全で価値があることの証拠ではありません。指標を伴う本物の試行を行ってください。
AI
このトピックはAIのレンズそのものです。あらゆる使用に、オーナー、害が起こりうる場所で判断する人、誤りの検知、指標が必要です。注意:説明責任をベンダーやモデルに委ねてはいけません。自分たちのサービスが届ける成果には、引き続き自分たちが説明責任を負います。
自動化
AIが決めるか提案し、自動化が行動します。承認なしに起こりうることの制限、ログ、止める手段を備えて、慎重に接続してください。注意:自動化を引き起こすAIは、間違いを素早く増幅しえます。レート制限とレビューを加えてください。トピック 6.1 — 自動化戦略を参照してください。
アナリティクス
便益、サンプルで見つかった誤り率、利用者のフィードバック、コストを測ります。注意:利用の数字や利用者の評価は、質が悪くても良く見えることがあります。出力をサンプリングし、ベースラインと比べてください。トピック 7.3 — 測定とレポートと『サービスマネジメント指標』を参照してください。
よくある失敗パターン
- 問題より先にツール。 機能がオンにされ、誰も便益を測りません。痛みと指標から始めましょう。
- インベントリがない。 使用が見えないまま増えます。すべてのAIの使用を、オーナーとともに一覧にしましょう。
- 名ばかりの人によるレビュー。 レビュアーが承認印を押すだけです。時間、文脈、権限を与え、その判断をサンプリングしましょう。
- 自信たっぷりの誤った答え。 利用者が作り話の助言に従って行動します。答えを情報源に基づかせ、出典を示し、確信がなければ断りましょう。
- データの漏れ。 機微なテキストが外部のツールに送られます。ルールを設け、条件を確認しましょう。
- モデルの変更の無視。 ベンダーの更新の後に振る舞いが変わります。定期的にテストし、変更の連絡先を決めましょう。
- 逃げ道がない。 サービスがAIに依存し、フォールバックがありません。人への経路とオフのスイッチを用意しましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| インベントリとオーナーシップ | 使用が不明 | 主要な使用が一覧にされる | オーナーと目的を伴うインベントリがある | インベントリがレビューされ、テストされる | インベントリがカタログとガバナンスに統合される |
| 人の判断 | 未定義 | 非公式なレビュー | 各使用に定義されたレビューの地点がある | レビューの質がサンプリングされる | レビューがリスクと証拠に合わせて適応する |
| テストと監視 | なし | デモ | テストセットと定期的なサンプリングがある | 誤りとドリフトが測定される | 使用をまたいだ継続的な評価がある |
| データとリスク | 不明確 | 認識されている | データとベンダー条件のルールがある | コンプライアンスが確認され、監査される | リスクがチームとサプライヤーをまたいで管理される |
チェックリスト
- ベンダーの機能と個人のツールを含め、AIの使用のインベントリを保っている。
- 各使用に名前のあるオーナーがいる。
- 各AIが単独でしてよいこと、レビューが必要なこと、してはならないことを書き留めた。
- 答えがレビュー済みの情報源に基づき、それを示している。
- テストセットがあり、定期的に実行している。
- 出力をサンプリングし、誤り、訂正、フィードバックを追跡している。
- どのデータをどのツールに送るかのルールがある。
- 利用者が人に連絡でき、各AIの使用をオフにできる。
AIプロンプト
ツールの説明からAIの使用を一覧にする。
Here is a description of the tools our team uses and what each does: [paste].
List which tools probably include AI features, what each might do, what data it might process, and a question to ask the vendor or owner. Mark clearly which items are guesses and do not state facts about vendors.
List what you are unsure of.
アシスタントのテスト質問を下書きする。
Our assistant answers questions about [topics] using only these documents: [list titles].
Write 30 test questions: 15 that the documents answer, 10 that they do not, and 5 that try to make the assistant ignore its instructions. For each, state the correct behavior. Do not include real personal data.
List what you are unsure of.
AIの使用のレビューを準備する。
AI use: [describe]. Owner: [role]. Data used: [list]. Decisions it affects: [list].
Draft a one-page review with: purpose, what it may do alone, what needs human review, how errors are detected, how it is switched off, and open questions. Mark every item you could not fill from my description.
List what you are unsure of.
AIスキル
- prompt-engineering: 明確で、根拠があり、テスト可能なプロンプトを設計するときに使います。
- machine-learning-model-card: モデルが何をするか、そのデータ、限界を文書化するときに使います。
- risk-register: AIのリスク、オーナー、判断を記録するときに使います。
- itil-5: AIの使用を所有者の最新の指針に関連づけ、未検証の主張に印を付けるときに使います。
- mlops: モデルをライフサイクルを通じて管理するときに使います。
主要な情報源
- NIST, AI Risk Management Framework: AIのリスクを特定し管理するための、広く使われている構造。
- ISO/IEC 42001 (the standard itself): 人工知能マネジメントシステムの要求事項。現在の版は発行元から読んでください。
- PeopleCert, ITIL certification pages: AIを含むITIL(バージョン5)についての所有者の説明。
- Wikipedia, "Artificial intelligence" and "Large language model": 分野と技術の概観。
参考文献
- Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
- Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
- Generative AI — Wikipedia — https://en.wikipedia.org/wiki/Generative_AI
- Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
- Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
- Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
- Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
- Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
- ITIL Foundation Bridge (Version 5) — PeopleCert — https://www.peoplecert.org/browse-certifications/it-governance-and-service-management/ITIL-1/itil-foundation-bridge-version-5-4158
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework