なぜ重要か

これまでのサービスマネジメントにおけるAIの使い方の大半は、助言的なものです。モデルがチケットを読んでカテゴリーを提案する、あるいは人が編集する返信を下書きする。提案が誤っていれば、何かが起きる前に、人が気づきます。AIエージェントはそれを変えます。エージェントにはツールが与えられます。システムを照会し、記録を更新し、コマンドを実行し、チケットを開閉し、メッセージを送れます。目標に向けたステップを計画して実行し、しばしば指示から結果までの間にほとんど人が関わりません。

これは本物の価値を約束します。エージェントは、ログを取得し、最近の変更を確認し、要約を投稿することで、アラートを調査できます。適格性を確認し、アカウントを作成し、利用者に通知するという、定型的なリクエストを端から端まで処理できます。修正を下書きし、プルリクエストを開けます。うまく行えば、忙しい人々から定型的な仕事を引き取り、どんな時間にも働きます。

また、リスクの性質を変えます。誤った答えは不便にすぎません。誤った行動は、データを削除し、誤った人にアクセスを付与し、サービスを止め、一万人の顧客にメッセージを送りえます。エージェントを有用にする速度は、その間違いを速く広げます。そしてエージェントは攻撃にさらされます。チケットやウェブページに隠された敵対的な指示は、行動する力を持つエージェントを誘導しえます。

このトピックは、サービスマネジメントでエージェントを安全に使うための主な考え方、つまり範囲、許可、承認、監査、停止を示します。トピック 5.1 — サービスマネジメントにおけるAIとトピック 5.6 — AIのガバナンス、リスク、コンプライアンスを土台とし、自動化(トピック 6.1 — 自動化戦略とトピック 6.6 — ランブック自動化と自動修復)、変更実現(トピック 3.4 — 変更実現)、情報セキュリティ(トピック 3.13 — 情報セキュリティ管理)につながります。

中核となる概念

AIエージェント。 環境を知覚し、判断を下し、目標を達成するために行動を取るシステムです。Wikipediaが知的エージェントとAIエージェントを説明しています。現在の実務では、エージェントは通常、言語モデルとツールとループを組み合わせます。モデルが次に何をするかを決め、ツールを呼び出し、結果を読み、終わったと判断するか上限に達するまで続けます。

ツールと許可。 知識ベースを読む、監視を照会する、チケットを作成する、サービスを再起動するなど、エージェントが取れる行動の集合です。ツールはしばしばアプリケーションプログラミングインターフェース(API)を通じて公開されます。WikipediaがAPIを説明しています。Wikipediaが説明するModel Context Protocolのような、モデルをツールに接続するオープンなプロトコルは、ツールの追加を簡単にし、それは有用ですが、エージェントにできることも広げます。各ツールにはそれぞれのリスクがあります。

自律性のレベル。 統制について考える有用な方法は、なしから完全まで、レベルとして捉えることです。一方の端では、エージェントは提案するだけです。次に、承認のために行動を準備します。次に、狭い限度内で単独で行動して報告します。もう一方の端では、レビューなしに広く行動します。Wikipediaの監督制御の記事は、自動化されたシステムの人による監督という考え方を説明しています。誤りのコストと、元に戻せるかどうかに基づいて、タスクごとにレベルを選びます。

人による監督。 人が、エージェントを理解し、承認し、止め、訂正できる状態にあり続けます。Wikipediaがヒューマン・イン・ザ・ループのシステムを説明しています。監督にはいくつかの形があります。行動の前に承認する、行動の最中に監視する、後でレビューする。適切な形は、速度とリスクに左右されます。事後のレビューは、元に戻せない行動には役に立ちません。

自動化バイアスと承認印。 人は、システムが提案するものを、特に承認が頻繁で似通って見えるとき、承認する傾向があります。Wikipediaが自動化バイアスを説明しています。人が読まずに承認する統制は、統制ではありません。承認を、何が起きるかを示し、読まれるほどまれで、サンプリングで確認されるように設計してください。

最小権限。 エージェントは、そのタスクに必要な許可だけを、必要な間だけ持つべきです。Wikipediaが最小権限の原則を説明しています。行動を追跡し、許可を制限できるよう、共有の管理者アカウントではなく、エージェント用の別個のアイデンティティを使います。

混乱した代理人(コンフューズド・デピュティ)。 信頼されたプログラムが、その権限を持たない者のために権限を使うよう騙されるセキュリティ上の問題です。Wikipediaが混乱した代理人問題を説明しています。高い権限で行動でき、利用者のメッセージのような信頼度の低いテキストから指示を受けるエージェントは、典型的な例です。

プロンプトインジェクション。 チケット、メール、ウェブページ、ログの行のように、エージェントが読む内容に隠された敵対的な指示です。Wikipediaがプロンプトインジェクションを説明しています。モデルは指示とデータを確実には区別できないため、内容の情報源がエージェントを向け直そうとすることがあります。防御は、悪いテキストを無視するようモデルを説得することではなく、主にエージェントにできることを制限することに依存します。

サンドボックス。 システムとデータへのアクセスが限られた、制限された環境でエージェントを動かすことです。Wikipediaがコンピュータセキュリティにおけるサンドボックスを説明しています。エージェントが本番で動く前に、テスト環境で行動を試させます。

可逆性。 チケットの作成、ラベルの追加、変更の提案のように、元に戻せる行動を好みます。削除、支払い、外部へのメッセージ送信のような元に戻せない行動は、承認が必要か、禁止として扱います。Wikipediaがデータ管理におけるロールバックを説明しています。

制限とサーキットブレーカー。 エージェントが一時間にできる行動の数、使える金額、一度に変更できる項目の数、実行できる時間の上限です。Wikipediaがレート制限を説明しています。制限は、暴走を、限られた誤りに変えます。

キルスイッチ。 エージェントを止め、そのアクセスを取り消す、速く確実な方法です。Wikipediaがキルスイッチを説明しています。テストしてください。エージェント自身の協力や、停止しているシステムに依存するキルスイッチは、キルスイッチではありません。

監査証跡。 エージェントが何を求められ、何を判断し、どのツールをどんな入力で呼び出し、何が起きたかの完全な記録です。Wikipediaが監査証跡を説明しています。それがなければ、間違いを調査することも、コンプライアンスを示すことも、学ぶこともできません。

説明責任。 エージェントは説明責任を負いません。人が負います。名前のあるオーナーが、エージェントが行うこと、その許可、その記録のレビューに責任を負います。Wikipediaが説明責任を説明しています。トピック 2.8 — プロダクトとサービスのオーナーシップを参照してください。

マルチエージェントシステム。 複数のエージェントが協働すると、複雑さ、連鎖する誤り、不明確な責任が加わりえます。Wikipediaがマルチエージェントシステムを説明しています。各エージェントの範囲と許可を別々に扱い、エージェントがエージェントに指示することには慎重になってください。

職務の分離。 単独の当事者がリスクのある行為を完了できないようにすべきだという考え方は、エージェントにも当てはまります。変更を提案するエージェントが、それを承認する者であってはなりません。Wikipediaが職務の分離を説明しています。

レンズはどう当てはまるか。 エージェントは、AIが自動化と出会う場所にあります。アジャイルのプラクティスは、小さく始め、証拠とともに段階的に自律性を広げることを示唆します。アナリティクスは、エージェントが何をし、何を誤るかを測ります。ガバナンス(トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照)がルールを定めます。

ベストプラクティス

  1. 範囲を書面で定義する。 エージェントが何のためにあり、何をしてよく、何を決してしてはならず、どのデータに触れてよいかを述べます。最初は狭く保ちます。
  2. 各エージェントに独自のアイデンティティを与える。 最小限の許可を持ち、タスクに範囲を絞った別個のアカウントを使い、認証情報をローテーションまたは失効させます。人間の管理者のアカウントを再利用してはいけません。
  3. リスクで自律性のレベルを選ぶ。 まずエージェントに提案させ、次にリスクが低く元に戻せるタスクで行動させ、重大なもの、元に戻せないものには承認を求めます。タスクごとにレベルを書き留めます。
  4. 人が読む承認を設計する。 提案された行動、理由、証拠、影響を示します。承認を、読まれるほどまれに保ち、承認された項目を質についてサンプリングします。
  5. まずサンドボックスでテストする。 エージェントが本番に触れる前に、敵対的なケースを含む現実的なケースで、安全なコピーに対して動かします。
  6. 入力を信頼できないものとして扱う。 チケット、メール、ウェブの内容に権限を与えさせてはいけません。信頼できない内容をエージェントが処理するときは、使えるツールを制限します。
  7. 影響範囲に上限を設ける。 行動の数、変更の量、支出、時間に制限を設けます。一括の行動は、別の承認されたステップにします。
  8. すべてを記録し、レビューする。 完全な証跡を保ち、エージェントが改変できない場所に保管し、サンプルを定期的にレビューします。異常なパターンにアラートを出します。
  9. キルスイッチを作り、テストする。 速く、エージェントから独立し、オンコールの人々に知られているものにします。リハーサルします。
  10. 自律性をゆっくり広げる。 良い結果の期間の後に、名前のあるオーナーの承認と測定された誤り率とともにのみ、より多くを許します。問題が起きたら減らします。

チームで話し合うための問い

このエージェントが、私たちが与える予定の許可で、できる最悪のことは何か。 許可を、ツールごとに順に追ってください。居心地の悪さが予想されます。さらに掘り下げるために、最悪のケースを受け入れられない許可は、取り除くか制限します。

その行動のうち、元に戻せるものはどれで、戻せないものはどれか。 一覧にします。安全だと思い込まれていた、元に戻せないものがいくつかあると予想できます。さらに掘り下げるために、元に戻せない行動それぞれに承認を求めます。

承認者は、何を承認しているのかをどうやって知り、どれくらいの頻度で依頼を目にするか。 忙しい日の承認者を想像してください。長く、似通った依頼が予想されます。さらに掘り下げるために、要約と、承認の量の上限を設計します。

チケットやメールに何を書けば、エージェントに望まないことをさせられるか。 攻撃者として試してください。驚きが予想されます。さらに掘り下げるために、信頼できない内容を読むときはツールを制限するなど、緩和策を選びます。

今すぐ止める必要があったら、誰が、どうやって、どれくらいの時間でそれをするか。 手順を求め、リハーサルしてください。不確かさが予想されます。さらに掘り下げるために、一ページの停止手順を書き、テストします。

このエージェントのオーナーは誰で、毎週何をレビューしているか。 人とレビューの名前を挙げてください。ギャップが予想されます。さらに掘り下げるために、オーナーシップと、定義された問いを伴う週次のサンプルレビューを割り当てます。

実践:サービスマネジメントの例

ある国の税務当局のインフラチームは、夜間の本番アラートを調査するエージェントを望んでいます。現在はオンコールのエンジニアが大半のアラートで起こされ、文脈を集めるのに15分から30分を費やし、原因が文書化された修正のある既知の問題だと分かることがよくあります。

チームは、エージェントを三段階で設計します。第一段階では、エージェントは読み取り専用のアクセスを持ちます。メトリクス、ログ、最近の変更記録、ナレッジベースを照会し、使った証拠とともに要約をインシデントのチャンネルに投稿できます。第二段階では、アラートが文書化されたランブックに合致するときだけ、ステートレスなサービスの再起動やワーカープールを二インスタンス増やすことのような、元に戻せる行動の小さな一覧も実行でき、一時間に三回の上限と、各回の後のチャンネルへの投稿を伴います。まだ承認されていない第三段階では、人の承認のために構成の変更を提案できるようになります。

エージェントは、本番への読み取り専用アクセスと、名前を挙げた二つの行動を持つ、独自のサービスアカウントを持ちます。チケットのテキストとログを読みますが、それらは敵対的な内容を含みうるため、自由形式のテキストを読むときは、同じステップでどの行動ツールも呼び出せません。エージェントの、リクエスト、ツール呼び出し、結果の完全な記録は、別のログ保管先に行きます。上級エンジニアがエージェントを所有し、毎週十のセッションをレビューし、ひとつのコマンドでその認証情報を無効にでき、チームは毎月それをリハーサルします。

第一段階の二か月後、オンコールのエンジニアは、要約が85パーセントの事例で正しいと判断します。10パーセントでは、変更記録が不完全だったために関連する変更を見逃し、5パーセントでは誤ったコンポーネントを指します。第二段階がひとつのランブックで始まります。最初の月、エージェントはサービスを三回、正しく再起動します。プールを非常に大きな数に拡大するという隠れた指示を含む巧妙に作られたチケットでのあるテストでは、レート制限と行動のルールがそれを止めます。

何が変わったか。エンジニアが起こされる頻度が減り、要約と証拠を持って到着します。何がまだ難しいか。エージェントが正確な変更記録に依存することが、データ品質のギャップを露わにします。エンジニアは、自分の確認よりも要約を信頼することがあります。セキュリティチームは、監査ログの保持を延ばしてレビューするよう求めました。オーナーはこれらを記録し、第二段階の誤り率が一四半期にわたって測定されるまで、第三段階を保留しています。

四つの視点

プロダクトとデリバリーのチーム

明確な許可、レート制限、ログを備えた、安全で狭いツールを公開しましょう。エージェントに、パイプラインやデータへの全面的なアクセスを与えてはいけません。エージェントを脅威モデルに含めてください。

サービスと運用のチーム

エージェントの範囲を所有し、その記録をレビューし、停止をリハーサルしましょう。エージェントが頼るので、ランブックを正確に保ちます。誤りとヒヤリ・ハットを報告してください。

リーダーシップとガバナンス

タスクごとにどの自律性が許容できるかを決め、名前のあるオーナーと監査証跡を求めましょう。段階ごとの試行からの証拠を求め、自律性を減らすことをいとわないでください。ベンダーの保証だけに頼ってはいけません。

顧客とユーザー

自動化されたエージェントが自分のリクエストに基づいて行動するときはそれを知り、間違いを訂正できる人への経路を持つべきです。自動の行動が誤っていたら、提供者に伝えましょう。

アジャイル、AI、自動化、アナリティクス

アジャイル

証拠とともに小さな歩みで自律性を広げ、各ステップをステークホルダーとレビューし、各リリースを小さく保ちます。注意:素早い反復は、安全のレビューを追い越しえます。自律性を上げるたびにゲートを保ってください。

AI

エージェントは、オーナー、テストケース、監視を持つAIシステムであり、行動するため特別な注意が必要です。プロンプトインジェクションと過信に備えてください。注意:モデルに慎重になるよう伝える指示を主な統制として頼ってはいけません。許可、制限、承認に頼ってください。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。

自動化

エージェントは自動化に接続し、行動を選んで引き起こします。行動そのものは、決定論的でテスト済みの、独自の検証を備えたものにし、エージェントの選択が承認済みの選択肢に限られるようにします。注意:エージェントからの自由形式のコマンドを受け付ける自動化は、エージェントと同じくらいリスクがあります。狭く名前の付いた行動を公開してください。トピック 6.6 — ランブック自動化と自動修復を参照してください。

アナリティクス

取られた行動、承認率、オーバーライド、レビューで見つかった誤り、節約された時間、ヒヤリ・ハットを測ります。注意:高い承認率は、良い提案とも、承認印を押すだけとも読めます。承認された項目をサンプリングしてください。『サービスマネジメント指標』とトピック 7.3 — 測定とレポートを参照してください。

よくある失敗パターン

  • 広い許可。 エージェントに共有の管理者アカウントが与えられます。別個の最小権限のアイデンティティを使いましょう。
  • 誰も読まない承認。 頻繁で曖昧な依頼に承認印が押されます。まれで明確なものにし、サンプリングしましょう。
  • 敵対的なテキストがエージェントを誘導する。 チケットやウェブページの内容がコマンドを発します。信頼できない入力の周りでツールを制限しましょう。
  • 制限がない。 ループや間違いが機械の速度で走ります。行動、支出、範囲に上限を設けましょう。
  • 停止ボタンがない。 誰も止められません。キルスイッチを作り、リハーサルしましょう。
  • 記録がない。 インシデントを調査できません。完全で保護された監査証跡を保ちましょう。
  • 熱意によって上げられる自律性。 証拠なしにエージェントがより大きな力を得ます。指標とともに段階的に広げましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
範囲と許可 広い、あるいは不明確 狭い試行 書かれた範囲、独自のアイデンティティ、最小権限 範囲と許可が定期的にレビューされる 許可が承認とともにリスクに合わせて適応する
監督 なし 非公式なレビュー 定義された自律性のレベルと承認ゲート 承認の質がサンプリングされ測定される 監督が証拠によってエージェントをまたいで調整される
安全の統制 なし 基本的なログ サンドボックス、制限、テストされたキルスイッチ 統制が監査され、実行される すべてのエージェント向けに統制がプラットフォームに組み込まれる
説明責任 不明確 作り手が所有する 名前のあるオーナーと週次のレビュー オーナーが指標とインシデントをレビューする オーナーシップがエージェントとチームをまたいで調整される

チェックリスト

  • エージェントに書面の範囲と名前のあるオーナーがいる。
  • 最小権限の許可を持つ独自のアイデンティティを使っている。
  • タスクごとに自律性のレベルが定義され、重大な、あるいは元に戻せない行動には承認がある。
  • 承認が何が起きるかを示し、質についてサンプリングされている。
  • 敵対的な入力を含め、サンドボックスでテストした。
  • 制限が、行動、支出、範囲に上限を設けている。
  • 完全な記録が、エージェントが改変できない場所にログされ、レビューされている。
  • キルスイッチがあり、その使用をリハーサルした。

AIプロンプト

エージェントの範囲をテストする。

Our agent's written scope is: [paste]. Its tools and permissions: [list].
List twenty scenarios, some inside the scope, some at the edge, and some that try to get the agent to act outside it or to use a tool in a harmful way, and for each state what the correct behavior is. Do not include real systems or data.
List what you are unsure of.

行動ログをレビューする。

Here is a sample of an agent's action log, with identifiers removed: [paste].
List actions that look unusual in size, timing, or target, actions that did not match a documented runbook, and anything that looks like the agent following instructions from untrusted text. Quote each. Do not say whether the agent was right.
List what you are unsure of.

承認メッセージを下書きする。

The agent proposes this action: [describe]. The evidence it used: [list]. What would change if it were done: [describe]. How to undo it: [describe or write "not known"].
Write a clear approval request of under 100 words for a busy approver, stating what will happen, why, the risk, and how to undo it. Do not recommend approval.
List what you are unsure of.

AIスキル

  • risk-register: エージェントのリスク、オーナー、判断を記録するときに使います。
  • runbook: エージェントがいつ何をしてよいかを定義するときに使います。
  • security-testing: 敵対的な入力に対してエージェントをテストするときに使います。
  • incident-response-plan: エージェントが誤作動したときの対応を計画するときに使います。
  • mlops: エージェントの背後にあるモデルを監視し、バージョン管理するときに使います。

主要な情報源

  • NIST, AI Risk Management Framework: 自律的なシステムのものを含む、AIのリスクを統治するための構造。
  • OWASP, guidance on risks for applications built on large language models (owasp.org): プロンプトインジェクションと過剰な権限付与を含みます。
  • Wikipedia, "AI agent" and "Prompt injection": 考え方と主要なセキュリティリスクの概観。
  • Wikipedia, "Principle of least privilege": 被害を限定するための基本的な統制。

参考文献

  1. Intelligent agent — Wikipedia — https://en.wikipedia.org/wiki/Intelligent_agent
  2. AI agent — Wikipedia — https://en.wikipedia.org/wiki/AI_agent
  3. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
  4. Principle of least privilege — Wikipedia — https://en.wikipedia.org/wiki/Principle_of_least_privilege
  5. Confused deputy problem — Wikipedia — https://en.wikipedia.org/wiki/Confused_deputy_problem
  6. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  7. Sandbox (computer security) — Wikipedia — https://en.wikipedia.org/wiki/Sandbox_(computer_security)
  8. Kill switch — Wikipedia — https://en.wikipedia.org/wiki/Kill_switch
  9. Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
  10. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
  11. Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
  12. OWASP — OWASP Foundation — https://owasp.org