体験とセンチメントの分析
体験のアナリティクスは、サービスが利用者の役に立ったかを尋ね、実際にどう使われるかを観察します。調査、フィードバックのテキスト、センチメント分析、体験レベル合意は、質問が公正で、回答のバイアスが認識され、センチメントのツールが人々自身の言葉に照らして確認され、誰も順位づけも監視もされないときに有用です。
なぜ重要か
サービスは、すべての技術的な目標を満たしながら、人々に不満を残すことがあります。システムは稼働し、チケットは期限内にクローズされ、ある従業員がその朝、必要なツールへのアクセスを得ようと二時間を費やしました。システムのデータから作ったダッシュボードには、それが見えません。機械が記録したものを数えるのであって、人がどうだったかを数えません。
体験のアナリティクスは、そのギャップを埋めます。利用の瞬間の短い調査と、より長い定期的な調査を通じて、人々に直接尋ねます。人々が書くもの、つまりチケットのコメント、調査の回答、チャットのメッセージを読みます。人々がサービスをどう使うかを観察します。どこでフォームを放棄し、成功するまで何回試すか。これらを組み合わせて、技術的な指標が見逃す体験の姿を描きます。トピック 3.7 — サービスレベル管理で紹介した体験レベル合意(XLA)の背後にある考え方は、技術的なパフォーマンスの目標と並べて、体験の目標を設定することです。
その手法には、それ自体のリスクがあります。調査は、回答する人にしか届きません。センチメント分析のツールは、言葉から感情を推測し、特に言語や文化をまたぐと、しばしば誤って推測します。スコアは目標になり、目標は回答者への圧力を招きます。従業員のデータは、プライバシーと信頼の問いを提起します。このトピックは、体験のデータを集めて使う方法を、公正に、それが示せることへの謙虚さとともに説明します。サービスデスク(トピック 3.1 — サービスデスク)、サービスレベル(トピック 3.7 — サービスレベル管理)、測定(トピック 7.3 — 測定とレポート)、テキストを読むためのAIの利用(トピック 5.1 — サービスマネジメントにおけるAI)につながります。
中核となる概念
体験。 最初の接触から成果まで、人がサービスを使うときに考え、感じ、行うことです。Wikipediaが顧客体験とユーザーエクスペリエンスを説明しています。社内のサービスでは、「顧客」は同僚であり、人々が自分たちの技術をどう体験するかについて、デジタル従業員体験という用語が使われることもあります。使いやすさ、速さ、信頼、目標に達したかを含みます。
満足度と関連する指標。 Wikipediaが説明する顧客満足度は、通常、尺度上の「どれくらい満足でしたか」として尋ねられます。同じく説明されるネットプロモータースコアは、人がサービスを推奨する可能性を尋ね、推奨者の割合から批判者の割合を引いて計算されます。他の指標は、何かを成し遂げるのがどれだけ簡単だったかのように、労力を尋ねます。それぞれに用途と批判があります。素早く比較でき、同時に鈍く、操作や誤読を招きやすいのです。
取引型の調査と関係型の調査。 取引型の調査は、解決したチケットのような、ひとつのやり取りについて、その直後に尋ねます。関係型の調査は、サービス全体について、間隔を置いて尋ねます。取引型の調査は具体的な問題を示し、関係型の調査はより広い見方を示します。両方を使い、短く保ちます。
調査の設計。 言い回しは答えに影響します。Wikipediaが調査法とよくある問題を説明しています。答えを示唆する誘導質問、同意しがちな傾向である黙従バイアス、受け入れられそうな答えをする社会的望ましさバイアス。中立的な言い回し、明確な尺度、質問ごとにひとつの考え、自由記述のコメント欄を使います。Wikipediaがリッカート尺度と質問紙を説明しています。調査を少数の人でテストします。このガイドのsurvey-designスキルを参照してください。
回答とバイアス。 答えるのは一部の人だけで、典型的ではありません。Wikipediaが回答率と参加バイアスを説明しています。強い感情を持つ人や時間のある人のほうが回答しやすいのです。10パーセントの回答から得たスコアは、残りの90パーセントについてほとんど何も語らないかもしれません。回答率を報告し、可能なら回答者を母集団と比べ、スコアを正確なものとして扱ってはいけません。
調査疲れ。 頻繁に尋ねられる人々は、答えなくなるか、雑に答えます。尋ねる頻度を制限し、使うものだけを尋ね、答えによって何が変わったかを示します。虚空に消える調査は、人々に煩わされないことを教えます。
自由記述のフィードバック。 コメントは、なぜかを教えてくれます。サンプルを読むことは不可欠で、量にはツールが助けになります。Wikipediaは、定性データのテーマを特定するプラクティスであるテーマ分析と、より広く質的研究を説明しています。テーマを数え、例を引用すれば、コメントは使えるものになります。
センチメント分析。 テキストを、肯定的、否定的、中立的、あるいは感情で分類するソフトウェアです。Wikipediaがセンチメント分析とその手法を説明しています。大量のテキストを大まかにトリアージするのに有用です。皮肉、混ざった感情、専門用語(「クリティカル」は感情ではなく優先度かもしれない)、言語や方言の違いに苦戦します。ツールのラベルを、人が読んだサンプルと照らして確認し、結果を個人の感情として扱ってはいけません。Wikipediaはまた感情認識を説明しており、特に顔や声に適用される場合、深刻な信頼性と倫理上の懸念を提起します。そうした手法を使う前に注意し、助言を求めてください。
トピックの発見。 Wikipediaが説明するトピックモデルを含む自然言語処理の技法は、コメントを主題別にグループ化できます。何千ものコメントのテーマを見つける助けになり、グループに名前を付けて確認する人のレビューを伴います。
行動と利用のシグナル。 人々が行うことは、言うこととしばしば異なります。放棄されたフォーム、繰り返される検索、再試行、セルフサービスを試した後の連絡は、摩擦を示します。Wikipediaは、人々が現実的なタスクを試みる間、観察者が困難を記録するユーザビリティテストを説明しています。観察した少数のセッションは、どの調査も明らかにしない問題を見つけることがよくあります。
質的な手法。 Wikipediaが説明するインタビューとフォーカスグループは、深さを与えます。実際の利用者との少数の対話は、大きな調査よりも優先順位を変えることがあります。役割、スキル、場所の異なる人々を選びます。
体験レベル合意。 「少なくとも80パーセントの利用者が、サービスが仕事の完了に役立ったと言う」のように、体験の指標に目標を設定する合意です。体験のスコアは容易に歪められるため、ペナルティに結び付いた単一の数字ではなく、複数の指標による、共有された目標と対話として使うのが最善です。トピック 3.7 — サービスレベル管理を参照してください。
顧客の声。 顧客が言うことを捉え、それに基づいて行動するプラクティスです。Wikipediaが説明しています。調査、コメント、サポートへの連絡、レビュー、対話を集め、洞察を行動できる人々に届けます。
従業員の幸福と作業量。 アナリティクスは、サービスを提供するスタッフの体験、つまり作業量、オンコールの負担、士気にも向けられます。Wikipediaが従業員エンゲージメントと燃え尽き症候群を説明しています。同意と配慮のもとで、チームレベルで測り、見つかったことに行動します。
倫理、プライバシー、同意。 フィードバックを集めて分析することには、個人データと、ときには機微な意見が関わります。Wikipediaがプライバシー、匿名性、インフォームド・コンセントを説明しています。何を、なぜ集めるかを述べ、重要なところでは匿名を許し、報告の前に集計し、十分な理由なくコメントから個人を特定してはいけません。Wikipediaが従業員の監視の項で説明する、職場での従業員の行動やセンチメントの監視は、信頼を損ない、法律で制限されていることもあります。法的助言を求めてください。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。
ループを閉じる。 聞いたことと変えたことを伝えます。深刻な問題を提起した人にはフォローアップします。目に見える応答がなければ、参加は減ります。
レンズはどう当てはまるか。 体験のアナリティクスは、他の三つのレンズが改善を目指す、人間の成果を与えます。アジャイルのプラクティスは、小さな実験を行い、それが役立ったかを利用者に尋ねます。AIは、レビューのもとで、テキストの読解とグループ化を助けます。自動化は、調査を起動し、フィードバックを振り分けます。
ベストプラクティス
- 満足度だけでなく、成果を尋ねる。 「必要なものを得られましたか」という質問と、労力についての質問を含めます。スコアを、自由記述の「何が妨げになりましたか」と組にします。
- 調査を短く、タイムリーに保つ。 やり取りの直後に一つから三つの質問をし、短い関係型の調査を年に数回行います。同じことについて、繰り返し人々に尋ねてはいけません。
- 中立的な質問を書き、テストする。 誘導的な言い回し、二重の質問、専門用語を避けます。公開前に、異なるグループの数人で調査を試します。
- 回答率と、誰が答えたかを報告する。 何人が回答したかを示し、可能なら母集団と比べ、限界を述べます。誤った精密さを避けます。
- コメントを読む。 毎週サンプルを取り、レポートで引用し、テーマにグループ化します。規模にはツールを使い、人がレビューします。
- センチメントのツールを人と照らして確認する。 人にサンプルのラベルを付けてもらい、ツールと比べ、失敗する場所を記録します。ツールはトリアージに使い、個人についての結論には使いません。
- 言葉だけでなく、行動も見る。 放棄、再試行、繰り返しの連絡を見て、現実的なタスクで少数のユーザビリティセッションを行います。人々が行うことと言うことを比べます。
- XLAを共有の目標として使う。 顧客と少数の体験の指標に合意し、一緒にレビューし、ペナルティや個人の成績に結び付けるのを避けます。
- 人を守る。 何を集めるかを説明し、結果を集計し、個人の特定を避け、従業員のセンチメントを監視する前に助言を求めます。体験のデータで個人を順位づけしてはいけません。
- 目に見える形でループを閉じる。 「皆さんの声、私たちの対応」の要約を公開し、深刻な問題にはフォローアップします。行動につながらない質問は廃止します。
チームで話し合うための問い
人々が私たちのサービスをどう体験しているかについて、技術的な指標が示さないことで、私たちは何を知っているか。 最近の苦情やコメントを一覧にします。ダッシュボードとのミスマッチが予想されます。さらに掘り下げるために、アクセスを得るまでの時間のような一面を選び、それについての体験の質問を加えます。
私たちの調査に答えるのは誰で、決して答えないのは誰か。 回答者を母集団と比べます。夜勤のスタッフや遠隔地の拠点のようなグループが欠けていると予想できます。さらに掘り下げるために、短いインタビューなど、別の方法で欠けているグループのひとつに届きます。
直近の四半期に、利用者に言われたことで何を変え、彼らはそれを知っているか。 例を求めてください。少ないと予想できます。さらに掘り下げるために、定期的な「皆さんの声、私たちの対応」のメッセージを合意します。
同じコメントのサンプルを人が読んだとき、私たちのセンチメントのツールはどれほど正確か。 テストしてください。皮肉と専門用語での誤りが予想されます。さらに掘り下げるために、ツールを使ってよい場所と使ってはならない場所を合意します。
私たちの体験の指標のうち、体験を改善せずに押し上げられるものはどれか。 回答者への圧力、選択的な調査、尋ねる前のチケットのクローズを考えます。さらに掘り下げるために、回答に影響を与えることを禁じるルールと、調査の送り方のチェックを合意します。
スタッフの体験について何を集め、それが監視ではなく助けのために使われるとどう確かめるか。 同意、集計、目的を議論します。強い意見が予想されます。さらに掘り下げるために、使い方の表明を合意し、スタッフの代表と法的助言を巻き込みます。
実践:サービスマネジメントの例
ある国の図書館ネットワークのITチームは、300の分館の6,000人のスタッフを支援しています。技術的な指標は良好な成績を示しています。可用性は99.5パーセントを超え、チケットの92パーセントが目標内に解決されています。それでも、年次のスタッフ調査は「ITサポート」を最も低く評価されたサービスとし、分館長たちはITが自分たちの仕事を理解していないと言います。
サービスマネージャーは、チケットが解決されたときに自動的に送られる、短い取引型の調査から始めます。二つの質問(「問題は解決しましたか」と「助けを得るのはどれだけ簡単でしたか」)と任意のコメント。回答率は18パーセントです。回答者をスタッフの母集団と比べ、大きな分館が過剰に代表され、小さな遠隔の分館がほとんど現れないことを見つけます。彼女は、無作為に選んだ五つの小さな分館への月次の電話を加え、新しいログインを依頼し、会議室の表示を予約するスタッフが試す三回のユーザビリティセッションを行います。
数字は、84パーセントが問題が解決したと言う一方、助けを得るのが簡単だったと言うのは55パーセントだけだと示します。二人のアナリストがテーマ別にグループ化したコメントは、最もよくある不満が、それぞれの担当者に問題を説明し直さなければならないことだと示します。コメントの31パーセントです。200件の手作業でラベル付けしたコメントでテストしたセンチメントのツールは、約四分の一を誤ってラベル付けし、「緊急」や「クリティカル」を説明的な言葉として使う多くのものも含むため、チームはコメントを読むために仕分ける目的でのみ使います。ユーザビリティセッションは、リクエストフォームが、ほとんどのスタッフが知らない資産タグを尋ねることを見つけます。
チームはフォームを変え、エージェント間でチケットに従う見える履歴を作り、何が変わったかの月次のノートを公開します。彼らは分館長たちと体験レベルの目標に合意します。スタッフの75パーセントが、助けを得るのは簡単だったと言う。四半期ごとに、コメントと回答率とともにレビューする。マネージャーは、スコアを個人の評価には使わないとチームに伝えます。
何が変わったか。簡単さのスコアは二四半期で68パーセントに上がり、「説明し直す」はコメントの15パーセントに下がりました。何がまだ難しいか。最も小さな分館では、回答率が低いままです。一部のエージェントは、表明にもかかわらず、スコアが自分たちに不利に使われるのではないかと心配しています。ベンダーが電話の感情検知ツールを提案しましたが、マネージャーは、法務とスタッフの代表がレビューするまで断っています。彼女は電話によるサンプリングを広げる計画です。
四つの視点
プロダクトとデリバリーのチーム
機能の成果について利用者に尋ね、実際のセッションをいくつか観察し、放棄のような摩擦点を計装しましょう。学んだことをサービスチームと共有してください。
サービスと運用のチーム
コメントを読み、顧客に何が変わったかを伝え、体験のデータを使って、プロセスが人々を苛立たせる場所を見ましょう。スコアを操作せず、良い評価をしてくれるよう頼んではいけません。
リーダーシップとガバナンス
回答率とコメントを伴う体験の指標を求めましょう。質的な仕事とフォローアップに資金を出します。体験のスコアで個人を順位づけしたり報いたりしてはいけません。プライバシーと従業員の監視について助言を求めてください。
顧客とユーザー
重要なことについて尋ねられ、適切なところでは匿名で話せ、何が変わったかを聞けるべきです。調査が自分の体験を見逃しているときは提供者に伝え、コメントで例を挙げましょう。
アジャイル、AI、自動化、アナリティクス
アジャイル
フォームの変更のように、体験への小さな実験を行い、それが役立ったか数人の利用者に尋ねます。設計に利用者を関わらせます。注意:調査を絶えず変えると比較が壊れます。安定した核を保ち、質問は控えめに加えてください。
AI
AIは、コメントのグループ化、テーマの要約、「皆さんの声、私たちの対応」のノートの下書きができ、人が原文と照らして確認します。オーナーを指名してください。注意:AIによるセンチメントや感情の検知は、グループや言語をまたいで誤り、不公平でありえます。ラベル付きのサンプルでテストし、個人には使わないようにしてください。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。
自動化
調査の起動、深刻なコメントの人への振り分け、フォローアップのリマインダーを自動化します。注意:良い結果の後にだけ送られる自動の調査は、スコアを膨らませます。一貫して起動してください。トピック 6.2 — ワークフロー自動化とオーケストレーションを参照してください。
アナリティクス
スコア、回答率、テーマ、行動のシグナル、技術的なデータを組み合わせます。注意:スコアはノイズが多く、誰が答え、質問がどう尋ねられるかに影響されます。傾向を使い、不確かさを報告し、コメントを読んでください。トピック 7.3 — 測定とレポートと『サービスマネジメント指標』を参照してください。
よくある失敗パターン
- 技術的な指標だけ。 ダッシュボードは緑なのに利用者は不満です。体験の指標とコメントを加えましょう。
- 調査のバイアスの無視。 声の大きい人が答えます。回答率を報告し、欠けているグループに届きましょう。
- 誘導質問。 答えが偏ります。中立的な言い回しを使い、テストしましょう。
- センチメントのスコアを信頼する。 ツールが誤ってラベル付けします。人が読んだものと照らして確認し、トリアージに使いましょう。
- 目標値としてのスコア。 人々が回答者に圧力をかけます。XLAを、複数の指標による共有の目標として使いましょう。
- 調査疲れ。 回答が減ります。尋ねる回数を減らし、何が変わったかを示しましょう。
- 人の監視。 信頼と適法性が損なわれます。集計し、同意を得て、助言を求めましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| 収集 | 年次の調査 | 取引型の調査 | コメントを伴う、短い取引型と関係型の調査がある | 回答とバイアスが確認され、欠けているグループに届いている | 複数のチャネルからのフィードバックが統合される |
| 分析 | スコアのみ | テーマを手作業で読む | サンプルを伴うテーマがあり、ツールが人と照らして確認される | 体験が行動と技術的なデータに結び付く | 体験の洞察がサービスをまたいで計画を駆動する |
| 活用 | 報告される | 一部の行動 | 行動が追跡され、「皆さんの声、私たちの対応」が公開される | 体験の目標が顧客とレビューされる | 体験の合意がパートナーをまたいで共有される |
| 倫理 | 不明確 | 認識されている | 目的、匿名性、集計のルールがある | 実践がスタッフと助言者とレビューされる | プライバシーが収集とアナリティクスに組み込まれる |
チェックリスト
- 満足度だけでなく、成果と労力を測っている。
- 調査が短く、中立的で、テストされている。
- 回答率と、誰が欠けているかを報告している。
- 毎週コメントを読み、テーマにグループ化している。
- センチメントのツールを人のラベルと照らして確認し、トリアージにのみ使っている。
- 尋ねるだけでなく、実際の利用を観察している。
- 体験の目標を、個人の指標ではなく、共有の目標として使っている。
- フィードバックによって何が変わったかを公開している。
AIプロンプト
レビュー用にコメントをテーマにグループ化する。
Here are free-text comments from users with personal details removed: [paste].
Group them into up to eight themes, give a count for each, and quote two short comments exactly for each theme. List comments that do not fit. Do not rate sentiment or guess who wrote anything.
List what you are unsure of.
調査の質問をレビューする。
Here is a draft survey: [paste].
List questions that are leading, double-barreled, unclear, or likely to produce biased answers, quoting each, and suggest a neutral rewording. Do not add questions.
List what you are unsure of.
センチメントのツールをテストする。
Here are 40 comments, each with a human label and the tool's label: [paste].
Compute the number and share of agreements and disagreements, list the comments with disagreements, and say what they have in common. Do not conclude anything about the tool beyond this sample.
List what you are unsure of.
AIスキル
- survey-design: 公正で有用な調査を設計するときに使います。
- getting-feedback: 利用者と同僚からのフィードバックを集めて活用するときに使います。
- stakeholder-analysis: 誰に尋ねるべきか、誰が欠けているかを特定するときに使います。
- statistical-analysis: 回答データを不確かさとともに分析するときに使います。
- service-level-agreement: 技術的な目標と並べて、体験の目標を整理するときに使います。
主要な情報源
- Don Dillman, Jolene Smyth, and Leah Christian, Internet, Phone, Mail, and Mixed-Mode Surveys (4th edition, 2014): 調査設計の標準的な手引き。
- Jakob Nielsen, usability research (nngroup.com): 少数のサンプルによるユーザビリティテストについての実践的な証拠。
- The companion Service Management Metrics book: 体験の指標の定義とガードレール。
- Wikipedia, "Customer satisfaction" and "Sentiment analysis": 主要な考え方の概観。
参考文献
- Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
- Customer experience — Wikipedia — https://en.wikipedia.org/wiki/Customer_experience
- User experience — Wikipedia — https://en.wikipedia.org/wiki/User_experience
- Survey methodology — Wikipedia — https://en.wikipedia.org/wiki/Survey_methodology
- Participation bias — Wikipedia — https://en.wikipedia.org/wiki/Participation_bias
- Sentiment analysis — Wikipedia — https://en.wikipedia.org/wiki/Sentiment_analysis
- Thematic analysis — Wikipedia — https://en.wikipedia.org/wiki/Thematic_analysis
- Usability testing — Wikipedia — https://en.wikipedia.org/wiki/Usability_testing
- Voice of the customer — Wikipedia — https://en.wikipedia.org/wiki/Voice_of_the_customer
- Employee monitoring — Wikipedia — https://en.wikipedia.org/wiki/Employee_monitoring
- Privacy — Wikipedia — https://en.wikipedia.org/wiki/Privacy