为什么这很重要

分析令人失望的最常见原因不是方法,而是数据。工单类别在去年春天改过,没人记录是何时。两个系统都声称保存着客户的部门,却互相矛盾。时间戳处于不同的时区。一个看起来完整的字段,有一半记录填的是“其他”。仪表板显示事件减少了,而原因却是日志改动,而不是服务变好了。

同样的问题也会损害 AI。用标错的工单训练的模型学到的是这些标签。立足于过时文章的助手会引用它们。建立在不完整历史上的预测会把缺口延续下去。随着组织越来越依赖分析和 AI,数据的质量、所有权和保护不再是技术上的背景事务,而成为一项独立的服务。

数据治理是把数据作为资产来管理的实践:决定谁负责、每个术语是什么意思、如何检查质量、数据如何流动以及来自何处、谁可以使用,以及何时删除。维基百科把数据治理(data governance)描述为对数据的可用性、可用度、完整性和安全性的整体管理。本主题以实用的方式针对服务管理数据描述它,并说明如何从小处着手。它支撑着分析(主题 7.1 — 服务管理分析)、度量(主题 7.3 — 度量与报告)、可观测性(主题 7.4 — 可观测性与遥测)和 AI(主题 5.6 — AI 治理、风险与合规),并与配置数据(主题 4.4 — 配置管理)相联系。它不提供法律建议。

核心概念

数据资产。 对组织有价值的数据集,比如工单历史、配置数据库、监控数据、调查结果或成本数据。与其他资产一样,它有负责人、成本、生命周期和风险。见主题 4.1 — 资产管理。

数据负责人与数据管理员。 数据负责人对一个数据集负责:它的目的、质量,以及谁可以使用它。数据管理员(data steward,维基百科有描述)日常照管它,处理定义、质量问题和访问请求。在小团队里,一个人可能身兼两职。没有指定的人,就没人修复问题。

数据定义与数据字典。 对每个字段和术语含义的通俗说明,比如“已解决”或“重大事件”,附上计算方式和来源。维基百科描述了数据字典(data dictionaries)。定义可防止两个团队用同一个词指不同的东西。连同日期记录定义的变化,以便解读趋势。

元数据。 关于数据的数据:它来自何处、何时更新、由谁负责、如何分类以及它意味着什么。维基百科描述了元数据(metadata)。数据目录是可搜索的数据集及其元数据的清单,有助于人们找到并信任数据。

数据质量。 适合使用,通常以准确性、完整性、一致性、及时性和唯一性等维度来描述。维基百科描述了数据质量。质量是相对于用途而言的:一个对月度趋势足够好的工单类别,对路由来说可能太粗。在重要的字段上度量它,并从源头修复原因。数据清洗(data cleansing,维基百科有描述)在事后纠正错误,却不能阻止错误再次发生。

质量差的来源。 不同的人以不同方式填写的自由文本字段、从未更改的默认值、不加修剪而增长的类别、在压力下被跳过的手工录入、丢失或重复记录的集成,以及改变含义的系统变更。通过更好的表单、验证、培训和对集成的评审来修复,而不是责怪人。

谱系与出处。 对数据来自何处,以及在通往报告或模型的途中发生了什么的记录。维基百科描述了数据谱系(data lineage)。当一个数字受到质疑时,谱系让你可以追溯它。当来源变化时,它还显示哪些报告受到影响。

数据流水线与集成。 在系统之间移动数据的流程,维基百科的文章常将其描述为提取、转换、加载(ETL),以及数据仓库和数据湖等存储,维基百科对它们也有描述。流水线与任何生产系统一样,需要负责人、监控和测试。见主题 6.2 — 工作流自动化与编排。

时间与身份。 两件小事会带来大麻烦。时间戳需要一致的时区和格式,正如维基百科关于时间戳和时区的文章所建议的;混用时区会产生神秘的缺口和尖峰。人员、服务和资产的标识符需要稳定并在各系统间共享,使记录可以关联。维基百科描述的主数据管理(master data management)是保持这类核心数据一致的学科。

分类。 按敏感度给数据贴标签,比如公开、内部、机密和受限,并为每个级别附上规则。维基百科描述了数据分类(data classification)。服务数据常含有个人信息和安全细节,需要保护。

隐私与保护。 个人数据是与可识别的人有关的信息。欧盟《通用数据保护条例》(GDPR)等法律规定了关于目的、最小化、保留和个人权利的规则;维基百科描述了个人数据(personal data)和 GDPR。数据最小化(该处有描述)意味着只收集和保留你需要的。假名化和匿名化等技术(维基百科有描述)降低风险,尽管很难做好,而薄弱的匿名化可能被逆转。请征求法律和隐私方面的意见。

访问控制。 谁可以查看或更改哪些数据,以及为什么。尽可能使用角色而不是个人,并定期审查访问权限。见主题 3.13 — 信息安全管理和主题 3.6 — 服务请求管理。

保留与删除。 数据保留多久以及如何销毁。保留你为运营、分析和法律义务所需的,删除其余的。维基百科描述了数据保留(data retention)。旧数据增加风险和成本,AI 系统也可能从中学习。核实适用于你的法律保留要求。

数据主权。 数据可能受制于其存储或处理所在国家的法律。维基百科描述了数据主权(data sovereignty)。云和 AI 服务可能跨境移动数据;要知道你的数据去了哪里。

AI 中的数据。 用于训练、检索或提示词的数据需要同样的治理,并格外小心:使用许可、来源标注、对偏见和漂移的检查,以及对发送给外部服务的内容的控制。见主题 5.1 — 服务管理中的 AI。

治理论坛与政策。 一个有权制定标准、解决冲突并为数据工作排定优先级的小组,以及一份涵盖所有权、质量、分类、访问、保留和 AI 中数据使用的简短政策。保持轻量而实用。

这些视角如何契合。 数据治理是分析和 AI 视角的基础,自动化也依赖于它。敏捷实践建议以小步改进数据质量,由人们实际需要回答的问题驱动,并获得数据使用者的反馈。

最佳实践

  1. 从最重要的数据集开始。 列出你关键决策背后的数据,比如工单、配置、监控、调查和成本。先治理这些。
  2. 为每个数据集指定负责人和管理员。 在目录中记录他们,并注明联系方式。让他们对质量和访问负责。
  3. 把定义写下来。 用通俗语言定义主要术语和字段,附上计算方式和来源。记录定义何时改变。
  4. 在重要之处度量质量。 选几个驱动决策的字段,定义检查,并向负责人报告结果。随时间跟踪。
  5. 在源头修复问题。 改进表单,增加验证,简化类别,并修复集成。事后清洗只是权宜之计。
  6. 统一时间和标识符。 使用一种时间标准和格式,以及为人员、服务和资产设立的稳定、共享的标识符。
  7. 保留谱系。 记录关键报告和模型的数据来自何处,以及适用哪些转换。在来源变化时更新。
  8. 分类并保护。 按敏感度给数据贴标签,应用访问规则和保护,并审查谁有访问权限。在不需要的地方移除个人数据。
  9. 设定保留期并删除。 决定每个数据集保留多久,之后删除或匿名化。核实适用于你的规则。
  10. 治理 AI 所使用的数据。 记录用于训练和检索的数据的来源、许可和质量,并控制发送给外部服务的内容。

与团队讨论的问题

哪些数据集驱动着我们最重要的决策?每个由谁负责? 列出它们。预期在所有权方面有缺口。追问:为前三个指定负责人和管理员。

我们的哪些术语在不同团队里用法不同? 选“已解决”、“事件”或“客户”。预期会有分歧。追问:写下一个定义,以及由谁决定。

一次定义或系统的变更何时破坏了某条趋势?我们当时注意到了吗? 索要例子。预期会听到“后来才发现”。追问:商定定义和来源的变更日志。

我们最依赖的字段上的数据有多好?我们怎么知道? 取一个字段,比如类别,抽取 50 条记录。预期会有问题。追问:选择一个原因去修复。

我们在服务系统中持有哪些个人或敏感数据?保留多久? 走一遍主要系统。预期在附件和聊天日志方面有意外。追问:让隐私官参与,并为一个系统商定保留规则。

我们向 AI 工具提供了哪些数据?谁同意的? 列出这些用法。预期有些是非正式的。追问:商定关于可以使用什么的规则,以及 AI 数据使用的登记册。

实践:一个服务管理示例

一家国家图书馆的数字服务团队想预测需求,并训练一个模型来路由工单。一位数据分析师开始工作,发现工单历史很难使用。类别被重命名过两次,“其他”类别占了 35% 的工单。旧工具的时间戳是本地时间,新工具的是世界时。取自 HR 系统的部门字段,与身份系统中的部门字段对约 8% 的用户不一致。一份月度报告显示事件下降了四分之一,但分析师发现,合并重复事件的方式发生了变化,解释了大部分降幅。

服务主管决定把工单数据当作受治理的资产。她指定自己为数据负责人,并指定一位经验丰富的服务台分析师为管理员。一份一页纸的字典定义了 12 个重要的字段,包括“已解决”的定义和它改变的日期。团队把旧类别映射到新类别,在历史中标注断点,并增加一条验证规则,防止在没有自由文本说明的情况下选择“其他”。每周一项作业检查三个质量度量:落入“其他”的工单比例、缺少部门的比例,以及时间戳超出预期范围的比例。结果发布给服务台。

隐私官评审了该数据集,发现自由文本字段和附件含有公众成员的个人信息。团队同意从分析用的副本中移除附件,在文本用于建模之前遮盖其中的姓名和电子邮件地址,并依据图书馆的记录政策,在七年后删除工单。一份登记册列出了工单数据的每项 AI 用法及其批准。

变化在于:分析师可以带着一个已知的断点和干净的序列建立预测,路由模型也是用经评审的标签训练的。仍然困难的是:自由文本的遮盖并不完美,仍有一些个人信息残留;HR 和身份系统仍然不一致,这两个系统的负责人尚未同意对账;质量检查依赖少数几名员工。服务主管向首席信息官提出了数据不一致的问题,并计划把检查扩大到配置数据。

四种视角

产品与交付团队

用一致的字段、时间戳和标识符设计你产品的日志、事态和 API,并记录下来。提前告诉数据使用者变更。

服务与运维团队

谨慎而一致地录入数据,并把表单或类别问题告诉管理员。帮助检查质量,并保留定义变更的记录。

领导层与治理

指定负责人,为数据工作出资,并要求提供决策背后数据质量的证据。就隐私和 AI 使用制定规则。不接受术语未定义的报告。

客户与用户

你应当知道关于你的数据被持有了什么以及为什么,并能够询问。提供准确的信息,并在记录似乎有误时告诉提供者。

敏捷、AI、自动化与分析

敏捷

由真实问题驱动,以小步改进数据:修复阻碍下一项分析的那个字段。与数据使用者一起定期评审数据质量。注意:一个多年而看不到成果的数据项目会失去支持;交付小而有用的收益。

AI

AI 可以帮助发现质量问题、对数据分类、建议定义并遮盖个人信息,需要审查。AI 所使用的数据需要自己的治理:来源、许可、质量和漂移检查。注意:基于 AI 的遮盖可能遗漏个人数据;要测试它,并对敏感数据集保留人工评审。见主题 5.6 — AI 治理、风险与合规。

自动化

自动化质量检查、谱系捕获、分类标签、保留规则和访问审查,并为例外指定负责人。注意:自动清洗可能悄悄改变数据;记录变更,并在要求的地方保留原件。见主题 6.2 — 工作流自动化与编排。

分析

度量关键字段的质量、完整性、及时性、有负责人和定义的数据集所占比例,以及由数据问题引起的事件。注意:单一的质量分数可能掩盖某个字段的严重缺陷;按字段和用途报告。见主题 7.3 — 度量与报告和《服务管理度量》一书。

常见失败模式

  • 没有负责人。 问题持续存在。指定负责人和管理员。
  • 术语未定义。 团队为数字争论。写下定义并记录变更。
  • 只检查一次质量。 数据衰败。持续监控关键字段。
  • 把清洗当作修复。 错误重复出现。修复源头。
  • 混用时区和标识符。 记录无法关联或排序。统一标准。
  • 什么都保留。 风险和成本增长。设定保留期并删除。
  • 不受治理的 AI 数据使用。 敏感或糟糕的数据进入模型。登记并评审用法。

成熟度模型

维度 起步 发展 标准化 管理 协同
所有权与定义 未知 主要数据集有负责人 负责人、管理员、字典和目录 管理定义及其变更 治理在团队和合作伙伴之间协调
质量 未知 抽查 定期度量关键字段 将质量改进追踪到来源 借助自动化持续保证质量
保护 临时 基本的访问规则 分类、访问和保留规则 监控并审计合规情况 保护内建于流水线和工具
在 AI 中的使用 未记录 有意识 AI 数据使用的登记册和规则 评审并针对偏见和漂移测试用法 AI 数据在各系统和供应商间受治理

检查清单

  • 我们最重要的数据集有指定的负责人和管理员。
  • 关键术语和字段有书面定义,并注明变更日期。
  • 我们在驱动决策的字段上度量质量。
  • 我们在源头修复质量问题。
  • 时区、格式和标识符已统一。
  • 我们知道关键报告的数据来自何处(谱系)。
  • 数据已分类,访问受到控制,并有保留规则。
  • 一份登记册记录了 AI 使用哪些数据以及谁同意的。

AI 提示词

对数据集做概览。

这是一个数据集的样本,附有字段名称,已去除标识符:[粘贴,50–100 行]。
请针对每个字段,给出其表面含义、类型、缺失或占位符值的比例、奇怪的值,以及向数据负责人提出的一个问题。不要得出关于业务的结论。
请列出你不确定的事项。

起草数据字典条目。

字段:[名称]。我对它所知道的:[来源、如何填写、如何使用]。
请起草一个字典条目,包含:通俗语言的定义、允许的值、如何计算或录入、来源系统、负责人(仅限已说明的)、已知问题,以及最近一次变更的日期(仅限已说明的)。未提供的每一项都标注为 [缺失]。
请列出你不确定的事项。

在自由文本中找出待评审的个人数据。

这是一批工单自由文本的样本,已部分遮盖:[粘贴]。
请列出仍然残留的、看起来像个人数据(姓名、电子邮件、电话号码、地址、标识符)的条目,引用确切的文本,并建议用于发现它们的规则类别。不要猜测其中任何一个是否真实。
请列出你不确定的事项。

AI 技能

主要来源

  • DAMA International,DAMA-DMBOK: Data Management Body of Knowledge:关于数据管理和治理的广泛参考。
  • ISO/IEC 25012, data quality model:一组标准的数据质量特性;请从出版方获取当前版本阅读。
  • Wikipedia, "Data governance" 和 "Data quality":对这一实践及其维度的概述。
  • Wikipedia, "General Data Protection Regulation":关于一项重要法律框架的背景(不是法律建议)。

参考文献

  1. Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
  2. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
  3. Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
  4. Data dictionary — Wikipedia — https://en.wikipedia.org/wiki/Data_dictionary
  5. Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
  6. Data lineage — Wikipedia — https://en.wikipedia.org/wiki/Data_lineage
  7. Data cleansing — Wikipedia — https://en.wikipedia.org/wiki/Data_cleansing
  8. Master data management — Wikipedia — https://en.wikipedia.org/wiki/Master_data_management
  9. Data classification — Wikipedia — https://en.wikipedia.org/wiki/Data_classification
  10. Personal data — Wikipedia — https://en.wikipedia.org/wiki/Personal_data
  11. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
  12. Data retention — Wikipedia — https://en.wikipedia.org/wiki/Data_retention