なぜ重要か

サービスデスクは、長い間、単純な質問により速く、より安く答えたいと考えてきました。チャットボットは最初の試みで、利用者を苛立たせるスクリプト化されたメニューでした。大規模言語モデルに基づく新しいアシスタントははるかに流暢で、オープンな質問を平易な言葉で扱えます。それによってはるかに有用になり、誤ったときに害を及ぼす力も大きくなります。誤った答えが正しく聞こえるからです。

利用者にとって、バーチャルエージェントは、いつでも答えにたどり着く素早い道になりえます。デスクのスタッフにとって、AIによるトリアージと下書きは、仕分けと執筆を引き受け、より難しいケースに時間を使えるようにします。組織にとって、どちらも接触あたりのコストを減らせます。これらの便益は本物で、アシスタントが適切な質問に使われ、正確に保たれ、人を必要とする人々を閉じ込めないことに依存します。

リスクには人間の顔があります。期限の前にシステムから締め出された利用者、素早い修正を必要とする患者対応の看護師、苦痛を抱えているのに陽気な台本を受け取る人。いずれも、いつ引き継ぐべきかを認識できないアシスタントにはうまく対応されません。このトピックは、バーチャルエージェントとAIによるトリアージがどこに当てはまるか、どう設計しテストするか、どう正直に測るかを説明します。サービスデスク(トピック 3.1 — サービスデスク)、サービス要求(トピック 3.6 — サービス要求管理)、ナレッジ(トピック 3.9 — ナレッジ管理)を土台とし、トピック 5.1 — サービスマネジメントにおけるAIとトピック 5.6 — AIのガバナンス、リスク、コンプライアンスの考え方に依拠します。

中核となる概念

バーチャルエージェント。 テキストまたは音声で利用者と会話し、質問に答えたりタスクを実行したりするソフトウェアです。Wikipediaのチャットボットとバーチャルアシスタントの記事がそれらを説明しています。サービスデスクでは、バーチャルエージェントがしばしば最初の接点であり、人への経路を伴います。

ルールベースとAIベース。 初期のチャットボットは、台本に従うかキーワードに一致させていました。AIベースのアシスタントは自然言語を解釈し、答えを構成できます。Wikipediaが会話型ユーザーインターフェースと自然言語理解を説明しています。台本は予測可能で限定的であり、言語モデルは柔軟で予測しにくいです。多くの本番システムは両者を組み合わせます。機微なタスクには台本化されたフロー、オープンな質問には言語モデル。

インテントとフロー。 インテントとは、「パスワードをリセットしたい」「ノートPCを注文したい」のような、利用者がしたいことです。多くのアシスタントは、インテントを特定したうえで、チェックを伴う定義されたフローを実行し、これは行動にとってより安全です。オープンな質問では、アシスタントは関連する記事を検索し、そこから答えます。

グラウンディング(根拠づけ)。 モデルの一般的な記憶からではなく、指定された、レビュー済みの情報源、通常はナレッジ記事から答え、それを示すことです。Wikipediaが検索拡張生成を説明しています。グラウンディングは作り話の答えを減らしますが、なくしはせず、ナレッジベースの質がアシスタントの質の限界になります。トピック 3.9 — ナレッジ管理を参照してください。

デフレクションと解決。 デフレクションとは、利用者がアシスタントから答えを得て、人に連絡しなかったことを意味します。解決とは、利用者の問題が実際に解決されたことを意味します。両者は異なります。諦めて他へ行った利用者は、解決されたのではなく、そらされたのです。解決は、フォローアップ、繰り返しの接触、フィードバックで測ります。

引き継ぎ。 アシスタントが助けられないとき、あるいは利用者が求めたときに、文脈とともに会話を人に渡すことです。Wikipediaが引き継ぎを一般に説明しています。良い引き継ぎは履歴を運ぶので、利用者が繰り返さずに済みます。悪い引き継ぎは、利用者をキューに放り込みます。「人と話す」を常に見えるようにしてください。

トリアージと振り分け。 AIが、届いたチケットを種類、緊急度、チームで分類し、振り分けます。Wikipediaがトリアージを説明しています。類似の接触の急増から、重大インシデントの可能性を検知することもできます。誤りは仕事を誤ったキューに送ります。再振り分けの率は良い指標です。

エージェント向けの下書きと要約。 AIは、長いチケットのスレッドを要約し、記事を提案し、エージェントが編集する返信を下書きできます。人の統制を保ちながら時間を節約します。トピック 5.4 — インシデント、ナレッジ、変更のための生成AIを参照してください。

センチメントと緊急度の検知。 テキストから利用者の気分や緊急度を推測する技法です。Wikipediaが感情分析を説明しています。動揺した利用者や、期限に言及するメッセージを優先させられます。特に言語や文化をまたぐと不完全なので、ヒントとして使います。

音声と多言語のサポート。 音声認識と音声合成により音声での対話が可能になり、機械翻訳によりより多くの言語でのサポートが可能になります。Wikipediaがこれらの技術を説明しています。品質は言語やアクセントによって異なり、より一般的でない言語の利用者は、より悪い対応を受けるかもしれません。実際の話者でテストしてください。

アクセシビリティとインクルージョン。 アシスタントは、障害のある人や、技術に自信のない人にも機能しなければなりません。Wikipediaがアクセシビリティとウェブコンテンツアクセシビリティガイドライン(WCAG)を説明しています。スクリーンリーダーが使えないチャットウィンドウは、利用者を排除します。Wikipediaが説明するデジタルデバイドは、誰もがチャットを好んだり使えたりするわけではないことを思い出させます。

アイデンティティと権限。 パスワードのリセットのような行動を実行できるアシスタントは、依頼者が誰かを確認しなければなりません。主張だけでアクセスを付与させてはいけません。トピック 3.6 — サービス要求管理とトピック 3.13 — 情報セキュリティ管理を参照してください。

機械であることへの正直さ。 利用者は、AIと話していることを知るべきで、アシスタントは、人間のふりをしたり、持っていない感情を持つふりをしたりしてはいけません。開示を求める法律もあります。自分に適用される規則を確認してください。Wikipediaのダークパターンの記事は、人への経路を隠すなど、利用者を欺く設計の慣行を説明しています。避けてください。

アシスタントのセキュリティ。 アシスタントは、メッセージや文書内のテキストがアシスタントの指示を上書きしようとするプロンプトインジェクションのような攻撃に直面します。Wikipediaがプロンプトインジェクションを説明しています。悪意のあるメッセージが悪用しうる力をアシスタントに与えてはならず、利用者の入力と検索された文書を信頼できないものとして扱います。

プライバシー。 会話には個人データが含まれることがあります。何が保存され、どれだけの間、誰が読め、どのモデルの訓練に使われるかを決めます。Wikipediaは、個人データと、ひとつの法的枠組みとしての一般データ保護規則を説明しています。法的助言を求めてください。

レンズはどう当てはまるか。 バーチャルエージェントは、デスクでのAI、自動化、アナリティクスの目に見える顔です。アジャイルのプラクティスは、少数のトピックから始めて広げることを示唆します。自動化は、会話の裏でタスクを完了します。アナリティクスは、利用者が何を尋ね、アシスタントがどこで失敗するかを教えます。

ベストプラクティス

  1. アシスタントがうまくやれるトピックを選ぶ。 無線ネットワークへの接続方法のように、明確な答えがある、頻繁で、単純で、リスクの低い質問から始めます。最初は、機微な、あるいは重大なトピックを避けます。
  2. 答えをレビュー済みの記事に基づかせる。 ナレッジベースからの検索を使い、情報源を示します。答えを裏づける情報源がなければ、アシスタントはそう述べ、人を提示するべきです。
  3. 人への経路を明白にする。 常に明確な「人と話す」の選択肢を示し、会話を添付して引き継ぎます。決して妨げてはいけません。
  4. 行動のために本人確認を行う。 アクセスやデータを変えるものには、チャットの外での強力なチェックを使い、アシスタントにできることを制限します。すべての行動を記録します。
  5. AIであることを利用者に伝える。 最初にそう述べ、何を助けられ、何を助けられないかを伝え、人間のふりをしません。
  6. テストセットを作って実行する。 実際のチケットから現実的な質問を作り、アシスタントが断るべきものや、操作しようとするものも含めます。公開の前と、変更のたびにセットを実行します。
  7. 実際の会話を読む。 毎週、会話のサンプルをレビューします。特に、利用者が去った、あるいは人を求めたものを。それらを使って、記事、フロー、指示を直します。
  8. デフレクションだけでなく解決を測る。 フォローアップの接触、利用者の評価、引き継ぎ、苦情を追跡します。ベースラインと比べます。
  9. 全員を含める。 スクリーンリーダーと、異なる言語とアクセントでテストします。電話やメールなど、他のチャネルを使えるままにします。
  10. サービスとして所有する。 オーナー、予算、改善のスケジュール、基盤のモデルやベンダーが変わったときの計画を決めます。

チームで話し合うための問い

利用者が最もよく尋ねる質問は何で、そのうち既存の記事から、アシスタントが確実に答えられるものはどれか。 チケットのデータを使ってください。繰り返される質問の短いリストが予想されます。記事の正確さと完全性を確認します。さらに掘り下げるために、最初の試行のための五つの質問を選びます。

アシスタントが決してしてはならない、言ってはならないことは何で、それをどうテストするか。 境界を一覧にします。確認なしのアクセス変更はしない、法的・医療的な事柄の助言はしない、タイミングについての約束はしない。端の部分で意見の不一致が予想されます。さらに掘り下げるために、各境界をテストに変えます。

利用者が苛立っているとき、あるいは人を求めたとき、何が起き、どれくらいかかるか。 自分で試してください。文脈のギャップと遅れが予想されます。さらに掘り下げるために、最大時間と標準的な引き継ぎの形式を合意します。

利用者が必要な答えを得たことを、チャットをやめたというだけでなく、どうやって知るのか。 指標を求めてください。「デフレクション率」が予想されます。さらに掘り下げるために、フォローアップの質問、繰り返しの接触のチェック、サンプルのレビューを合意します。

このアシスタントは誰が使え、誰に対して失敗しうるか。 障害のある人、言語の違い、自信のない人を考えてください。考慮されていなかったグループがあると予想できます。さらに掘り下げるために、そうしたグループの実際の利用者数人でテストします。

会話にはどんなデータが含まれ、どこへ行き、誰が読めるか。 データの流れを順に追ってください。ベンダーと保持についての驚きが予想されます。さらに掘り下げるために、流れを書き留め、プライバシーの責任者にレビューしてもらいます。

実践:サービスマネジメントの例

ある地域の保健サービスのITデスクは、約12,000人の臨床・事務スタッフを支援しています。電話は、臨床医がログインと印刷を必要とするシフト交代時に集中し、平均の待ち時間は9分です。サービスマネージャーは、スタッフポータルとメッセージングチャネルにバーチャルエージェントを提案します。

チームは絞って始めます。六か月分のチケットから最も多い15の「どうすれば」の質問を取り、対応する記事を臨床の利用者とレビューし、分かりにくい八つを書き直します。アシスタントは、それらの記事からのみ答えます。パスワードのリセットでは自分では行動せず、独自の確認を使うアイデンティティシステムのリセットフローにリンクします。バナーがAIアシスタントであることを述べ、「人と話す」ボタンが、要約とともに会話をデスクのエージェントに引き継ぎます。

公開の前に、チームは80のテスト質問を作ります。15の範囲外のトピックについてのもの、たとえばアシスタントが断らなければならない臨床の助言や、指示を明かさせようとする試みを含みます。最初のバージョンは九つのテストに失敗し、大半は範囲外で答えたことによるものです。チームは指示を厳しくし、合致しないものはすべて人に渡すルールを加えます。最初の月、アシスタントは約1,400の会話を扱い、約40パーセントはチケットなしで終わり、12パーセントがエージェントに引き継がれます。マネージャーは毎週100件の会話を読みます。利用者が、最近変わったログイン画面について尋ねることが多く、記事がまだそれを説明していないことが分かり、チームは更新します。

何が変わったか。ピーク時の待ち時間は減り、エージェントは繰り返しの質問に費やす時間が減りました。何がまだ難しいか。一部の病棟の夜勤のスタッフは接続が悪く、電話をかけ続けます。アシスタントは、多くのスタッフが使う二つの言語での質問に苦戦しており、チームは適切なテスト方法をまだ見つけていません。ベンダーの価格は、会話の量とともに増えます。マネージャーは、翻訳した記事と四半期ごとのコストレビューを加えました。

四つの視点

プロダクトとデリバリーのチーム

アシスタントは書かれていることにしか答えられないので、自分たちの変更について、明確な記事とリリースノートを提供しましょう。アシスタントが安全に呼び出せる、独自の本人確認を持つフローを作ってください。

サービスと運用のチーム

アシスタントの質を所有しましょう。会話を読み、記事を直し、フローを改善します。引き継ぎをうまく扱い、パターンをプロダクトとサービスのオーナーに報告してください。

リーダーシップとガバナンス

境界を設定し、ナレッジの作業とテストに資金を出し、デフレクションだけでなく解決の指標を求めましょう。常に人への経路があることを確かめます。データと法的な問いを確認してください。

顧客とユーザー

AIと話していることを知り、いつでも人に代われ、繰り返さなくて済むべきです。答えが誤っていたり役立たなかったりしたときは、提供者に伝えましょう。

アジャイル、AI、自動化、アナリティクス

アジャイル

少数のトピックから始め、頻繁にリリースし、実際の会話から学び、段階的に広げます。何を加えるかのレビューに、利用者とエージェントを関わらせます。注意:テストなしに多くのトピックを素早く加えると、誤った答えが増えます。小さくテスト済みのグループで加えてください。

AI

アシスタントには、オーナー、テストセット、根拠のある答え、サンプルのレビューが必要です。AIが何を言い、何をしてよいか、人が決めなければならないのはどこかを決めます。注意:テストに通るように指示を調整すると、アシスタントがもろくなることがあります。テストセットを、新しい実際の質問で更新してください。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。

自動化

アシスタントを、定型的なリクエストの定義されたフローに、確認、ログ、制限とともに接続し、即興ではなく、行動を引き起こすようにします。注意:説得力のあるメッセージに基づいて行動できるアシスタントは標的になります。権限を狭く保ち、帯域外で本人確認してください。トピック 6.5 — セルフサービスと自動化されたフルフィルメントを参照してください。

アナリティクス

尋ねられた、答えられた、断られた、引き継がれた、放棄された質問、利用者の評価、繰り返しの接触、解決した接触あたりのコストを見ます。注意:高いデフレクションは、利用者が諦めたことを意味しうるものであり、評価は小さく自己選択されたグループから来ます。サンプリングした会話と組み合わせてください。トピック 7.7 — 体験とセンチメントの分析と『サービスマネジメント指標』を参照してください。

よくある失敗パターン

  • 逃げ道がない。 利用者がボットと堂々巡りします。常に文脈つきで人を提供しましょう。
  • 記憶からの答え。 モデルが手順を捏造します。レビュー済みの記事に基づかせ、確信がなければ断りましょう。
  • 成功としてのデフレクション。 利用者が助けられないまま去ります。解決と繰り返しの接触を測りましょう。
  • 確認なしの行動。 主張だけでアクセスが付与されます。帯域外で確認し、記録しましょう。
  • 隠れたボット。 利用者が人と話していると思います。AIであることを述べましょう。
  • 排除される利用者。 スクリーンリーダーや言語が機能しません。実際の利用者でテストし、他のチャネルを保ちましょう。
  • 古いナレッジ。 アシスタントが古い記事を引用します。更新を変更に結び付け、サンプルをレビューしましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
範囲と設計 ベンダーが提供するもの何でも 少数のトピック 定義されたトピック、境界、フロー 範囲が会話データから調整される 範囲が部門とチャネルをまたいで調整される
グラウンディングとナレッジ モデルの記憶 一部の記事 情報源を示すレビュー済みの記事 ナレッジが会話から更新される ナレッジとアシスタントが継続的に一緒に改善される
引き継ぎとインクルージョン 隠れている、あるいは貧弱 引き継ぎがある 文脈つきの見える引き継ぎ、アクセシビリティがテストされる 引き継ぎとインクルージョンが測定される 体験がチャネル、言語、能力をまたいで一貫している
測定 量のみ デフレクション 解決、繰り返しの接触、評価 サンプルと傾向が定期的にレビューされる 成果がサービスをまたいでコストと体験に結び付く

チェックリスト

  • アシスタントのために、適したトピックの小さな集合を選んだ。
  • 答えがレビュー済みの記事に基づき、情報源を示している。
  • 見える「人と話す」の選択肢が、文脈とともに引き継ぐ。
  • あらゆる行動について、チャットの外で本人確認する。
  • 利用者にAIであることが伝えられている。
  • テストセットがあり、変更の前後で実行している。
  • 毎週、会話のサンプルを読んでいる。
  • アクセシビリティと、利用者が話す言語をテストした。

AIプロンプト

チケットからテスト質問を下書きする。

Here are anonymized ticket titles and summaries from the past month: [paste]. Our assistant is allowed to answer these topics: [list].
Write 40 test questions based on the tickets: 25 inside the topics, 10 outside them that the assistant should decline, and 5 that try to make it ignore its rules. State the correct behavior for each. Do not include real personal data.
List what you are unsure of.

失敗のパターンを会話からレビューする。

Here are transcripts of conversations where the user asked for a person or left unhelped, with personal data removed: [paste].
Group them into up to six patterns, count each, quote a short example, and list a possible fix to investigate. Do not blame the user.
List what you are unsure of.

レビュー用のアシスタントの指示を書く。

Our assistant helps staff of [type of organization] with [topics]. It must never: [list]. It must always: [list, such as offer a person and cite sources].
Draft instructions of under 250 words for the assistant, in plain language, including what to say when it does not know. Do not invent capabilities or sources.
List what you are unsure of.

AIスキル

  • prompt-engineering: アシスタントの指示を設計し、テストするときに使います。
  • service-catalog: アシスタントが利用者の依頼をどこまで助けられるかを定義するときに使います。
  • survey-design: 解決を測る利用者フィードバックを設計するときに使います。
  • getting-feedback: 利用者とエージェントからフィードバックを集めるときに使います。

主要な情報源

  • W3C, Web Content Accessibility Guidelines (WCAG): アクセシブルなウェブコンテンツの国際標準で、チャットインターフェースにも関連します。
  • NIST, AI Risk Management Framework: AIのリスクを特定し管理するための構造。
  • Wikipedia, "Chatbot" and "Virtual assistant": 技術の概観。
  • Wikipedia, "Prompt injection": 主要なセキュリティリスクについての背景。

参考文献

  1. Chatbot — Wikipedia — https://en.wikipedia.org/wiki/Chatbot
  2. Virtual assistant — Wikipedia — https://en.wikipedia.org/wiki/Virtual_assistant
  3. Conversational user interface — Wikipedia — https://en.wikipedia.org/wiki/Conversational_user_interface
  4. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  5. Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
  6. Sentiment analysis — Wikipedia — https://en.wikipedia.org/wiki/Sentiment_analysis
  7. Accessibility — Wikipedia — https://en.wikipedia.org/wiki/Accessibility
  8. Web Content Accessibility Guidelines — Wikipedia — https://en.wikipedia.org/wiki/Web_Content_Accessibility_Guidelines
  9. Dark pattern — Wikipedia — https://en.wikipedia.org/wiki/Dark_pattern
  10. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  11. Web Content Accessibility Guidelines (WCAG) overview — W3C — https://www.w3.org/WAI/standards-guidelines/wcag/