データ基盤とデータガバナンス
優れたアナリティクスと安全なAIは、定義され、所有され、正確で、追跡可能で、保護され、必要な間だけ保持されるサービスデータの上に成り立ちます。データガバナンスは、重要な各データセットに、名前のあるオーナー、平易な定義、品質のチェック、アクセスと保持のルールを与えます。
なぜ重要か
分析が期待外れになる最もよくある理由は、手法ではありません。データです。チケットのカテゴリーが昨春に変更され、いつか誰も記録しませんでした。二つのシステムが両方とも顧客の部署を保持していると主張し、食い違います。タイムスタンプが異なるタイムゾーンです。完全に見える項目が、記録の半分で「その他」で埋められています。ダッシュボードはインシデントの減少を示しますが、原因はサービスの改善ではなく、ログの変更だと分かります。
同じ問題はAIも損ないます。誤ってラベル付けされたチケットで訓練されたモデルは、そのラベルを学習します。古い記事に基づいたアシスタントは、それを引用します。不完全な履歴の上に築かれた予測は、ギャップを先へ運びます。組織がアナリティクスとAIに頼るにつれて、データの質、オーナーシップ、保護は、技術的な背景事項であることをやめ、それ自体がサービスになります。
データガバナンスは、データを資産として管理するプラクティスです。誰が責任を負い、各用語が何を意味し、品質がどうチェックされ、データがどう動いてどこから来たか、誰が使ってよいか、いつ削除されるかを決めます。Wikipediaは、データガバナンスを、データの可用性、使いやすさ、完全性、セキュリティの全体的な管理と説明しています。このトピックは、サービスマネジメントのデータについて、それを実践的に説明し、小さく始める方法を示します。アナリティクス(トピック 7.1 — サービスマネジメントのためのアナリティクス)、測定(トピック 7.3 — 測定とレポート)、オブザーバビリティ(トピック 7.4 — オブザーバビリティとテレメトリ)、AI(トピック 5.6 — AIのガバナンス、リスク、コンプライアンス)を支え、構成データ(トピック 4.4 — 構成管理)につながります。法的助言は行いません。
中核となる概念
データ資産。 チケットの履歴、構成データベース、監視データ、調査結果、コストデータのように、組織にとって価値のあるデータセットです。他の資産と同じく、オーナー、コスト、ライフサイクル、リスクがあります。トピック 4.1 — 資産管理を参照してください。
データオーナーとスチュワード。 データオーナーは、データセットの目的、品質、誰が使ってよいかに説明責任を負います。データスチュワードは、定義、品質の問題、アクセスの依頼を扱いながら、日々それを世話します。Wikipediaがデータスチュワードを説明しています。小さなチームでは、ひとりが両方の役割を持つこともあります。名前のある人がいなければ、誰も問題を直しません。
データの定義と辞書。 「解決」や「重大インシデント」のような各項目と用語が何を意味するかを、どう計算され、どこが情報源かとともに、平易に述べたものです。Wikipediaがデータ辞書を説明しています。定義は、二つのチームが同じ言葉を異なる意味で使うのを防ぎます。傾向が解釈できるよう、定義の変更を日付とともに記録します。
メタデータ。 データについてのデータです。どこから来たか、いつ更新されたか、誰が所有するか、どう分類されているか、何を意味するか。Wikipediaがメタデータを説明しています。データカタログは、データセットとそのメタデータの検索可能なインベントリで、人々がデータを見つけて信頼するのを助けます。
データ品質。 正確さ、完全性、一貫性、適時性、一意性のような次元で通常説明される、利用への適合性です。Wikipediaがデータ品質を説明しています。品質は利用に対して相対的です。月次の傾向には十分なチケットのカテゴリーが、振り分けには粗すぎることもあります。重要な項目で測り、原因を情報源で直します。Wikipediaが説明するデータクレンジングは、事後に誤りを訂正するもので、再発は止めません。
品質の悪さの原因。 人によって異なる形で埋められる自由記述の項目、変更されない既定値、整理されずに増えるカテゴリー、圧力のもとで飛ばされる手入力、レコードを落としたり重複させたりする連携、意味を変えるシステムの変更。人を責めるのではなく、より良いフォーム、検証、研修、連携のレビューで直します。
リネージとプロビナンス。 データがどこから来て、レポートやモデルに至るまでに何が起きたかの記録です。Wikipediaがデータリネージを説明しています。ある数字に疑問が持たれたとき、リネージがそれを追跡させてくれます。情報源が変わったときに、どのレポートが影響を受けるかも示します。
データパイプラインと統合。 Wikipediaの記事で抽出・変換・ロード(ETL)と説明される、システム間でデータを動かす流れと、同じくWikipediaが説明するデータウェアハウスやデータレイクのような保管先です。パイプラインには、どの本番システムとも同様に、オーナー、監視、テストが必要です。トピック 6.2 — ワークフロー自動化とオーケストレーションを参照してください。
時間とアイデンティティ。 二つの小さな事柄が大きな問題を引き起こします。タイムスタンプには、Wikipediaのタイムスタンプとタイムゾーンの記事が示すとおり、一貫したタイムゾーンと形式が必要です。混在したゾーンは、不可解なギャップと急増を生みます。人、サービス、資産の識別子は、記録を結び付けられるよう、安定して、システム間で共有される必要があります。Wikipediaが説明するマスターデータ管理は、そうした中核のデータを一貫して保つ規律です。
分類。 公開、内部、機密、制限付きのような機微度でデータにラベルを付け、各水準にルールを付けます。Wikipediaがデータ分類を説明しています。サービスのデータには、個人情報とセキュリティの詳細がよく含まれ、保護が必要です。
プライバシーと保護。 個人データとは、識別可能な人に関する情報です。欧州連合の一般データ保護規則(GDPR)のような法律は、目的、最小化、保持、個人の権利についてのルールを定めています。Wikipediaが個人データとGDPRを説明しています。そこで説明されるデータの最小化は、必要なものだけを集め、保持することを意味します。Wikipediaが説明する仮名化と匿名化のような技法はリスクを減らしますが、うまく行うのは難しく、弱い匿名化は元に戻されえます。法務とプライバシーの助言を求めてください。
アクセス制御。 誰がどのデータを見たり変更したりしてよいか、なぜか。可能なところでは、個人ではなく役割を使い、アクセスを定期的にレビューします。トピック 3.13 — 情報セキュリティ管理とトピック 3.6 — サービス要求管理を参照してください。
保持と削除。 データをどれだけ保持し、どう破棄するかです。運用、分析、法的義務に必要なものを保ち、残りは削除します。Wikipediaがデータ保持を説明しています。古いデータはリスクとコストを増やし、AIシステムはそこから学習するかもしれません。自分に適用される法的な保持の要件を確認してください。
データ主権。 データは、保管または処理される国の法律の対象になりえます。Wikipediaがデータ主権を説明しています。クラウドとAIのサービスは、データを国境を越えて動かしえます。自分のデータがどこに行くかを知ってください。
AIにおけるデータ。 訓練、検索、プロンプトに使われるデータには、同じガバナンスが必要で、特別な注意が加わります。利用の許可、情報源のラベル付け、バイアスとドリフトのチェック、外部サービスに送るものの統制。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。
ガバナンスフォーラムと方針。 標準を設定し、対立を解決し、データの仕事に優先順位を付ける権限を持つ小さなグループと、オーナーシップ、品質、分類、アクセス、保持、AIでのデータの利用を扱う短い方針です。軽く実践的に保ちます。
レンズはどう当てはまるか。 データガバナンスは、アナリティクスとAIのレンズの土台であり、自動化もそれに依存します。アジャイルのプラクティスは、人々が実際に答えを必要とする問いに駆動され、データ利用者からのフィードバックを伴う、小さな歩みでのデータ品質の改善を示唆します。
ベストプラクティス
- 最も重要なデータセットから始める。 チケット、構成、監視、調査、コストなど、主要な判断の背後にあるデータを一覧にします。それらをまず統治します。
- それぞれにオーナーとスチュワードを指名する。 カタログに、連絡方法とともに記録します。品質とアクセスに説明責任を負わせます。
- 定義を書き留める。 主要な用語と項目を、計算と情報源を添えて平易な言葉で定義します。定義が変わった時期を記録します。
- 重要なところで品質を測る。 判断を駆動する少数の項目を選び、チェックを定義し、結果をオーナーに報告します。時間を追って追跡します。
- 問題を情報源で直す。 フォームを改善し、検証を加え、カテゴリーを単純にし、連携を直します。事後のクレンジングは一時しのぎです。
- 時間と識別子を標準化する。 ひとつの時間の標準と形式、人、サービス、資産のための安定して共有される識別子を使います。
- リネージを保つ。 主要なレポートとモデルがどこからデータを得て、どんな変換が適用されるかを文書化します。情報源が変わったら更新します。
- 分類して守る。 データを機微度でラベル付けし、アクセスルールと保護を適用し、誰がアクセスを持つかをレビューします。不要なところでは個人データを取り除きます。
- 保持を設定し、削除する。 各データセットをどれだけ保持するかを決め、その後は削除または匿名化します。自分に適用されるルールを確認します。
- AIが使うデータを統治する。 訓練と検索に使うデータの情報源、許可、質を記録し、外部サービスに行くものを統制します。
チームで話し合うための問い
私たちの最も重要な判断を駆動するデータセットはどれで、それぞれのオーナーは誰か。 一覧にします。オーナーシップにギャップが予想されます。さらに掘り下げるために、上位三つについて、オーナーとスチュワードを指名します。
チームによって異なる意味で使っている用語はどれか。 「解決」「インシデント」「顧客」を選びます。意見の不一致が予想されます。さらに掘り下げるために、定義をひとつ書き、誰が決めるかを定めます。
定義やシステムの変更が傾向を壊したのはいつで、そのときに気づいたか。 例を求めてください。「後で」が予想されます。さらに掘り下げるために、定義と情報源の変更履歴を合意します。
最も頼っている項目のデータは、どれくらい良く、どうやってそれを知るのか。 カテゴリーのような項目を取り、50件のレコードをサンプリングします。問題が予想されます。さらに掘り下げるために、直す原因をひとつ選びます。
サービスシステムにどんな個人データや機微なデータを保持していて、どれくらい保持しているか。 主要なシステムを順に追います。添付ファイルやチャットのログに驚きが予想されます。さらに掘り下げるために、プライバシーの責任者を巻き込み、ひとつのシステムの保持のルールを合意します。
私たちはAIツールにどんなデータを与えていて、誰がそれに同意したか。 使用を一覧にします。非公式なものがあると予想できます。さらに掘り下げるために、何を使ってよいかのルールと、AIによるデータ利用の登録簿を合意します。
実践:サービスマネジメントの例
ある国立図書館のデジタルサービスチームは、需要を予測し、チケットを振り分けるモデルを訓練したいと考えています。データアナリストが作業を始め、チケットの履歴が使いにくいことを発見します。カテゴリーは二度改名され、「その他」のカテゴリーがチケットの35パーセントを占めます。旧ツールのタイムスタンプは現地時間で、新しいものは協定世界時です。人事システムから取った部署の項目は、約8パーセントの利用者で、アイデンティティシステムのものと異なります。月次レポートはインシデントが四分の一減ったことを示しますが、アナリストは、重複したインシデントのまとめ方の変更が、その減少の大半を説明すると見つけます。
サービス責任者は、チケットのデータを統治された資産として扱うことにします。自分自身をデータオーナーに、経験豊富なサービスデスクのアナリストをスチュワードに指名します。一ページの辞書が、重要な12の項目を定義し、「解決」の定義と、それが変わった日付も含みます。チームは旧カテゴリーを新カテゴリーに対応付け、履歴の断絶にラベルを付け、自由記述のメモなしの「その他」を禁じる検証ルールを加えます。週次のジョブが、三つの品質指標をチェックします。「その他」のチケットの割合、部署が欠けている割合、想定範囲外のタイムスタンプの割合。結果はデスクに掲示されます。
プライバシーの責任者がデータセットをレビューし、自由記述の項目と添付ファイルに、一般市民の個人の詳細が含まれていることを見つけます。チームは、分析用のコピーから添付ファイルを取り除くこと、モデリングに使う前にテキスト内の名前とメールアドレスをマスクすること、図書館の記録方針に従って七年後にチケットを削除することで合意します。登録簿が、チケットデータのAIによる各利用とその承認を一覧にします。
何が変わったか。アナリストは、既知の断絶と整った系列で予測を作れ、振り分けのモデルはレビュー済みのラベルで訓練されます。何がまだ難しいか。自由記述のマスキングは不完全で、一部の個人の詳細が残ります。人事とアイデンティティのシステムは依然として食い違っており、それらのオーナーは調整に同意していません。品質のチェックは少数のスタッフに依存しています。サービス責任者は、データの不一致を最高情報責任者に提起し、チェックを構成データに広げることを計画しています。
四つの視点
プロダクトとデリバリーのチーム
プロダクトのログ、イベント、APIを、一貫した項目、タイムスタンプ、識別子で設計し、文書化しましょう。変更は事前にデータ利用者に伝えてください。
サービスと運用のチーム
データを注意深く一貫して入力し、フォームやカテゴリーの問題はスチュワードに伝えましょう。品質の確認を手伝い、定義の変更の記録を保ってください。
リーダーシップとガバナンス
オーナーを指名し、データの仕事に資金を出し、判断の背後にあるデータの品質の証拠を求めましょう。プライバシーとAI利用のルールを設けます。定義のない用語のあるレポートを受け入れてはいけません。
顧客とユーザー
自分についてどんなデータが保持されていて、なぜかを知り、それについて尋ねられるべきです。正確な情報を提供し、記録が誤っているように思えたら、提供者に伝えましょう。
アジャイル、AI、自動化、アナリティクス
アジャイル
実際の問いに駆動された小さな歩みでデータを改善します。次の分析を妨げる項目を直します。データの質を、その利用者と定期的にレビューします。注意:目に見える結果のない数年がかりのデータプログラムは、支持を失います。小さく、有用な成果を届けてください。
AI
AIは、品質の問題の発見、データの分類、定義の提案、個人の詳細のマスキングを、レビューのもとで助けられます。AIが使うデータには、情報源、許可、質、ドリフトのチェックという、独自のガバナンスが必要です。注意:AIによるマスキングは個人データを見逃すことがあります。テストし、機微なセットには人のレビューを保ってください。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。
自動化
品質のチェック、リネージの取得、分類ラベル、保持ルール、アクセスレビューを、例外のオーナーとともに自動化します。注意:自動のクレンジングは、データを無言で変ええます。変更を記録し、必要なところでは原本を保ってください。トピック 6.2 — ワークフロー自動化とオーケストレーションを参照してください。
アナリティクス
主要な項目の品質、完全性、適時性、オーナーと定義を持つデータセットの割合、データの問題が引き起こしたインシデントを測ります。注意:単一の品質スコアは、ある項目の深刻な欠陥を隠しえます。項目と利用ごとに報告してください。トピック 7.3 — 測定とレポートと『サービスマネジメント指標』を参照してください。
よくある失敗パターン
- オーナーがいない。 問題が残ります。オーナーとスチュワードを指名しましょう。
- 定義のない用語。 チームが数字をめぐって争います。定義を書き、変更を記録しましょう。
- 一度だけの品質チェック。 データが劣化します。主要な項目を継続的に監視しましょう。
- 修正としてのクレンジング。 誤りが再発します。情報源を直しましょう。
- 混在するタイムゾーンと識別子。 記録を結合も順序づけもできません。標準化しましょう。
- すべてを保持する。 リスクとコストが増えます。保持を設定し、削除しましょう。
- 統治されないAIのデータ利用。 機微な、あるいは質の悪いデータがモデルに届きます。使用を登録しレビューしましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| オーナーシップと定義 | 不明 | 主要なデータセットにオーナーがいる | オーナー、スチュワード、辞書、カタログがある | 定義と変更が管理される | ガバナンスがチームとパートナーをまたいで調整される |
| 品質 | 不明 | 抜き取り確認 | 主要な項目が定期的に測定される | 品質の改善が情報源まで追跡される | 品質が自動化とともに継続的に保証される |
| 保護 | 場当たり的 | 基本的なアクセスルール | 分類、アクセス、保持のルールがある | コンプライアンスが監視され、監査される | 保護がパイプラインとツールに組み込まれる |
| AIでの利用 | 記録されていない | 認識されている | AIでのデータ利用の登録簿とルールがある | 利用がレビューされ、バイアスとドリフトについてテストされる | AIのデータがシステムとサプライヤーをまたいで統治される |
チェックリスト
- 最も重要なデータセットに、名前のあるオーナーとスチュワードがいる。
- 主要な用語と項目が、変更日とともに書面で定義されている。
- 判断を駆動する項目で品質を測っている。
- 品質の問題を情報源で直している。
- タイムゾーン、形式、識別子が標準化されている。
- 主要なレポートがどこからデータを得るか(リネージ)を知っている。
- データが分類され、アクセスが管理され、保持のルールがある。
- AIが使うデータと、誰が同意したかを、登録簿が記録している。
AIプロンプト
データセットのプロファイルを作る。
Here is a sample of a dataset with field names, identifiers removed: [paste, 50–100 rows].
For each field, give the apparent meaning, type, share of missing or placeholder values, odd values, and a question for the data owner. Do not draw business conclusions.
List what you are unsure of.
データ辞書の項目を下書きする。
Field: [name]. What I know about it: [source, how it is filled, how it is used].
Draft a dictionary entry with: plain-language definition, allowed values, how it is calculated or entered, source system, owner (only if stated), known issues, and date of last change (only if stated). Mark each item not given as [missing].
List what you are unsure of.
レビューのために、自由記述の中の個人データを見つける。
Here is a sample of ticket free text, already partially masked: [paste].
List items that look like personal data (names, emails, phone numbers, addresses, identifiers) that remain, quoting the exact text, and suggest categories of rules to catch them. Do not guess whether any is real.
List what you are unsure of.
AIスキル
- data-governance: データのオーナーシップ、定義、ルールを定めるときに使います。
- data-quality: 主要な項目の品質を定義し、確認するときに使います。
- data-pipeline: データの流れを設計し、文書化するときに使います。
- legal-data-privacy-compliance: 法務の助言者向けにプライバシーの問いを整理するときに使います。
- raci-matrix: オーナーシップとスチュワードシップを割り当てるときに使います。
主要な情報源
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge: データ管理とガバナンスについての広範な参考文献。
- ISO/IEC 25012, data quality model: データ品質の特性の標準的な集合。現在の版は発行元から読んでください。
- Wikipedia, "Data governance" and "Data quality": プラクティスとその次元の概観。
- Wikipedia, "General Data Protection Regulation": 重要な法的枠組みのひとつについての背景(法的助言ではありません)。
参考文献
- Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
- Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
- Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
- Data dictionary — Wikipedia — https://en.wikipedia.org/wiki/Data_dictionary
- Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
- Data lineage — Wikipedia — https://en.wikipedia.org/wiki/Data_lineage
- Data cleansing — Wikipedia — https://en.wikipedia.org/wiki/Data_cleansing
- Master data management — Wikipedia — https://en.wikipedia.org/wiki/Master_data_management
- Data classification — Wikipedia — https://en.wikipedia.org/wiki/Data_classification
- Personal data — Wikipedia — https://en.wikipedia.org/wiki/Personal_data
- General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
- Data retention — Wikipedia — https://en.wikipedia.org/wiki/Data_retention