数据基础与治理
良好的分析和安全的 AI 建立在这样的服务数据之上:有定义、有负责人、准确、可追溯、受到保护,并且只在需要的期限内保留;数据治理为每个重要的数据集指定负责人、通俗的定义、质量检查,以及访问和保留的规则。
为什么这很重要
分析令人失望的最常见原因不是方法,而是数据。工单类别在去年春天改过,没人记录是何时。两个系统都声称保存着客户的部门,却互相矛盾。时间戳处于不同的时区。一个看起来完整的字段,有一半记录填的是“其他”。仪表板显示事件减少了,而原因却是日志改动,而不是服务变好了。
同样的问题也会损害 AI。用标错的工单训练的模型学到的是这些标签。立足于过时文章的助手会引用它们。建立在不完整历史上的预测会把缺口延续下去。随着组织越来越依赖分析和 AI,数据的质量、所有权和保护不再是技术上的背景事务,而成为一项独立的服务。
数据治理是把数据作为资产来管理的实践:决定谁负责、每个术语是什么意思、如何检查质量、数据如何流动以及来自何处、谁可以使用,以及何时删除。维基百科把数据治理(data governance)描述为对数据的可用性、可用度、完整性和安全性的整体管理。本主题以实用的方式针对服务管理数据描述它,并说明如何从小处着手。它支撑着分析(主题 7.1 — 服务管理分析)、度量(主题 7.3 — 度量与报告)、可观测性(主题 7.4 — 可观测性与遥测)和 AI(主题 5.6 — AI 治理、风险与合规),并与配置数据(主题 4.4 — 配置管理)相联系。它不提供法律建议。
核心概念
数据资产。 对组织有价值的数据集,比如工单历史、配置数据库、监控数据、调查结果或成本数据。与其他资产一样,它有负责人、成本、生命周期和风险。见主题 4.1 — 资产管理。
数据负责人与数据管理员。 数据负责人对一个数据集负责:它的目的、质量,以及谁可以使用它。数据管理员(data steward,维基百科有描述)日常照管它,处理定义、质量问题和访问请求。在小团队里,一个人可能身兼两职。没有指定的人,就没人修复问题。
数据定义与数据字典。 对每个字段和术语含义的通俗说明,比如“已解决”或“重大事件”,附上计算方式和来源。维基百科描述了数据字典(data dictionaries)。定义可防止两个团队用同一个词指不同的东西。连同日期记录定义的变化,以便解读趋势。
元数据。 关于数据的数据:它来自何处、何时更新、由谁负责、如何分类以及它意味着什么。维基百科描述了元数据(metadata)。数据目录是可搜索的数据集及其元数据的清单,有助于人们找到并信任数据。
数据质量。 适合使用,通常以准确性、完整性、一致性、及时性和唯一性等维度来描述。维基百科描述了数据质量。质量是相对于用途而言的:一个对月度趋势足够好的工单类别,对路由来说可能太粗。在重要的字段上度量它,并从源头修复原因。数据清洗(data cleansing,维基百科有描述)在事后纠正错误,却不能阻止错误再次发生。
质量差的来源。 不同的人以不同方式填写的自由文本字段、从未更改的默认值、不加修剪而增长的类别、在压力下被跳过的手工录入、丢失或重复记录的集成,以及改变含义的系统变更。通过更好的表单、验证、培训和对集成的评审来修复,而不是责怪人。
谱系与出处。 对数据来自何处,以及在通往报告或模型的途中发生了什么的记录。维基百科描述了数据谱系(data lineage)。当一个数字受到质疑时,谱系让你可以追溯它。当来源变化时,它还显示哪些报告受到影响。
数据流水线与集成。 在系统之间移动数据的流程,维基百科的文章常将其描述为提取、转换、加载(ETL),以及数据仓库和数据湖等存储,维基百科对它们也有描述。流水线与任何生产系统一样,需要负责人、监控和测试。见主题 6.2 — 工作流自动化与编排。
时间与身份。 两件小事会带来大麻烦。时间戳需要一致的时区和格式,正如维基百科关于时间戳和时区的文章所建议的;混用时区会产生神秘的缺口和尖峰。人员、服务和资产的标识符需要稳定并在各系统间共享,使记录可以关联。维基百科描述的主数据管理(master data management)是保持这类核心数据一致的学科。
分类。 按敏感度给数据贴标签,比如公开、内部、机密和受限,并为每个级别附上规则。维基百科描述了数据分类(data classification)。服务数据常含有个人信息和安全细节,需要保护。
隐私与保护。 个人数据是与可识别的人有关的信息。欧盟《通用数据保护条例》(GDPR)等法律规定了关于目的、最小化、保留和个人权利的规则;维基百科描述了个人数据(personal data)和 GDPR。数据最小化(该处有描述)意味着只收集和保留你需要的。假名化和匿名化等技术(维基百科有描述)降低风险,尽管很难做好,而薄弱的匿名化可能被逆转。请征求法律和隐私方面的意见。
访问控制。 谁可以查看或更改哪些数据,以及为什么。尽可能使用角色而不是个人,并定期审查访问权限。见主题 3.13 — 信息安全管理和主题 3.6 — 服务请求管理。
保留与删除。 数据保留多久以及如何销毁。保留你为运营、分析和法律义务所需的,删除其余的。维基百科描述了数据保留(data retention)。旧数据增加风险和成本,AI 系统也可能从中学习。核实适用于你的法律保留要求。
数据主权。 数据可能受制于其存储或处理所在国家的法律。维基百科描述了数据主权(data sovereignty)。云和 AI 服务可能跨境移动数据;要知道你的数据去了哪里。
AI 中的数据。 用于训练、检索或提示词的数据需要同样的治理,并格外小心:使用许可、来源标注、对偏见和漂移的检查,以及对发送给外部服务的内容的控制。见主题 5.1 — 服务管理中的 AI。
治理论坛与政策。 一个有权制定标准、解决冲突并为数据工作排定优先级的小组,以及一份涵盖所有权、质量、分类、访问、保留和 AI 中数据使用的简短政策。保持轻量而实用。
这些视角如何契合。 数据治理是分析和 AI 视角的基础,自动化也依赖于它。敏捷实践建议以小步改进数据质量,由人们实际需要回答的问题驱动,并获得数据使用者的反馈。
最佳实践
- 从最重要的数据集开始。 列出你关键决策背后的数据,比如工单、配置、监控、调查和成本。先治理这些。
- 为每个数据集指定负责人和管理员。 在目录中记录他们,并注明联系方式。让他们对质量和访问负责。
- 把定义写下来。 用通俗语言定义主要术语和字段,附上计算方式和来源。记录定义何时改变。
- 在重要之处度量质量。 选几个驱动决策的字段,定义检查,并向负责人报告结果。随时间跟踪。
- 在源头修复问题。 改进表单,增加验证,简化类别,并修复集成。事后清洗只是权宜之计。
- 统一时间和标识符。 使用一种时间标准和格式,以及为人员、服务和资产设立的稳定、共享的标识符。
- 保留谱系。 记录关键报告和模型的数据来自何处,以及适用哪些转换。在来源变化时更新。
- 分类并保护。 按敏感度给数据贴标签,应用访问规则和保护,并审查谁有访问权限。在不需要的地方移除个人数据。
- 设定保留期并删除。 决定每个数据集保留多久,之后删除或匿名化。核实适用于你的规则。
- 治理 AI 所使用的数据。 记录用于训练和检索的数据的来源、许可和质量,并控制发送给外部服务的内容。
与团队讨论的问题
哪些数据集驱动着我们最重要的决策?每个由谁负责? 列出它们。预期在所有权方面有缺口。追问:为前三个指定负责人和管理员。
我们的哪些术语在不同团队里用法不同? 选“已解决”、“事件”或“客户”。预期会有分歧。追问:写下一个定义,以及由谁决定。
一次定义或系统的变更何时破坏了某条趋势?我们当时注意到了吗? 索要例子。预期会听到“后来才发现”。追问:商定定义和来源的变更日志。
我们最依赖的字段上的数据有多好?我们怎么知道? 取一个字段,比如类别,抽取 50 条记录。预期会有问题。追问:选择一个原因去修复。
我们在服务系统中持有哪些个人或敏感数据?保留多久? 走一遍主要系统。预期在附件和聊天日志方面有意外。追问:让隐私官参与,并为一个系统商定保留规则。
我们向 AI 工具提供了哪些数据?谁同意的? 列出这些用法。预期有些是非正式的。追问:商定关于可以使用什么的规则,以及 AI 数据使用的登记册。
实践:一个服务管理示例
一家国家图书馆的数字服务团队想预测需求,并训练一个模型来路由工单。一位数据分析师开始工作,发现工单历史很难使用。类别被重命名过两次,“其他”类别占了 35% 的工单。旧工具的时间戳是本地时间,新工具的是世界时。取自 HR 系统的部门字段,与身份系统中的部门字段对约 8% 的用户不一致。一份月度报告显示事件下降了四分之一,但分析师发现,合并重复事件的方式发生了变化,解释了大部分降幅。
服务主管决定把工单数据当作受治理的资产。她指定自己为数据负责人,并指定一位经验丰富的服务台分析师为管理员。一份一页纸的字典定义了 12 个重要的字段,包括“已解决”的定义和它改变的日期。团队把旧类别映射到新类别,在历史中标注断点,并增加一条验证规则,防止在没有自由文本说明的情况下选择“其他”。每周一项作业检查三个质量度量:落入“其他”的工单比例、缺少部门的比例,以及时间戳超出预期范围的比例。结果发布给服务台。
隐私官评审了该数据集,发现自由文本字段和附件含有公众成员的个人信息。团队同意从分析用的副本中移除附件,在文本用于建模之前遮盖其中的姓名和电子邮件地址,并依据图书馆的记录政策,在七年后删除工单。一份登记册列出了工单数据的每项 AI 用法及其批准。
变化在于:分析师可以带着一个已知的断点和干净的序列建立预测,路由模型也是用经评审的标签训练的。仍然困难的是:自由文本的遮盖并不完美,仍有一些个人信息残留;HR 和身份系统仍然不一致,这两个系统的负责人尚未同意对账;质量检查依赖少数几名员工。服务主管向首席信息官提出了数据不一致的问题,并计划把检查扩大到配置数据。
四种视角
产品与交付团队
用一致的字段、时间戳和标识符设计你产品的日志、事态和 API,并记录下来。提前告诉数据使用者变更。
服务与运维团队
谨慎而一致地录入数据,并把表单或类别问题告诉管理员。帮助检查质量,并保留定义变更的记录。
领导层与治理
指定负责人,为数据工作出资,并要求提供决策背后数据质量的证据。就隐私和 AI 使用制定规则。不接受术语未定义的报告。
客户与用户
你应当知道关于你的数据被持有了什么以及为什么,并能够询问。提供准确的信息,并在记录似乎有误时告诉提供者。
敏捷、AI、自动化与分析
敏捷
由真实问题驱动,以小步改进数据:修复阻碍下一项分析的那个字段。与数据使用者一起定期评审数据质量。注意:一个多年而看不到成果的数据项目会失去支持;交付小而有用的收益。
AI
AI 可以帮助发现质量问题、对数据分类、建议定义并遮盖个人信息,需要审查。AI 所使用的数据需要自己的治理:来源、许可、质量和漂移检查。注意:基于 AI 的遮盖可能遗漏个人数据;要测试它,并对敏感数据集保留人工评审。见主题 5.6 — AI 治理、风险与合规。
自动化
自动化质量检查、谱系捕获、分类标签、保留规则和访问审查,并为例外指定负责人。注意:自动清洗可能悄悄改变数据;记录变更,并在要求的地方保留原件。见主题 6.2 — 工作流自动化与编排。
分析
度量关键字段的质量、完整性、及时性、有负责人和定义的数据集所占比例,以及由数据问题引起的事件。注意:单一的质量分数可能掩盖某个字段的严重缺陷;按字段和用途报告。见主题 7.3 — 度量与报告和《服务管理度量》一书。
常见失败模式
- 没有负责人。 问题持续存在。指定负责人和管理员。
- 术语未定义。 团队为数字争论。写下定义并记录变更。
- 只检查一次质量。 数据衰败。持续监控关键字段。
- 把清洗当作修复。 错误重复出现。修复源头。
- 混用时区和标识符。 记录无法关联或排序。统一标准。
- 什么都保留。 风险和成本增长。设定保留期并删除。
- 不受治理的 AI 数据使用。 敏感或糟糕的数据进入模型。登记并评审用法。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 所有权与定义 | 未知 | 主要数据集有负责人 | 负责人、管理员、字典和目录 | 管理定义及其变更 | 治理在团队和合作伙伴之间协调 |
| 质量 | 未知 | 抽查 | 定期度量关键字段 | 将质量改进追踪到来源 | 借助自动化持续保证质量 |
| 保护 | 临时 | 基本的访问规则 | 分类、访问和保留规则 | 监控并审计合规情况 | 保护内建于流水线和工具 |
| 在 AI 中的使用 | 未记录 | 有意识 | AI 数据使用的登记册和规则 | 评审并针对偏见和漂移测试用法 | AI 数据在各系统和供应商间受治理 |
检查清单
- 我们最重要的数据集有指定的负责人和管理员。
- 关键术语和字段有书面定义,并注明变更日期。
- 我们在驱动决策的字段上度量质量。
- 我们在源头修复质量问题。
- 时区、格式和标识符已统一。
- 我们知道关键报告的数据来自何处(谱系)。
- 数据已分类,访问受到控制,并有保留规则。
- 一份登记册记录了 AI 使用哪些数据以及谁同意的。
AI 提示词
对数据集做概览。
这是一个数据集的样本,附有字段名称,已去除标识符:[粘贴,50–100 行]。
请针对每个字段,给出其表面含义、类型、缺失或占位符值的比例、奇怪的值,以及向数据负责人提出的一个问题。不要得出关于业务的结论。
请列出你不确定的事项。
起草数据字典条目。
字段:[名称]。我对它所知道的:[来源、如何填写、如何使用]。
请起草一个字典条目,包含:通俗语言的定义、允许的值、如何计算或录入、来源系统、负责人(仅限已说明的)、已知问题,以及最近一次变更的日期(仅限已说明的)。未提供的每一项都标注为 [缺失]。
请列出你不确定的事项。
在自由文本中找出待评审的个人数据。
这是一批工单自由文本的样本,已部分遮盖:[粘贴]。
请列出仍然残留的、看起来像个人数据(姓名、电子邮件、电话号码、地址、标识符)的条目,引用确切的文本,并建议用于发现它们的规则类别。不要猜测其中任何一个是否真实。
请列出你不确定的事项。
AI 技能
- data-governance:用于为数据设定所有权、定义和规则。
- data-quality:用于定义并检查关键字段的质量。
- data-pipeline:用于设计并记录数据流。
- legal-data-privacy-compliance:用于为法律顾问整理隐私问题。
- raci-matrix:用于分配所有权和管理责任。
主要来源
- DAMA International,DAMA-DMBOK: Data Management Body of Knowledge:关于数据管理和治理的广泛参考。
- ISO/IEC 25012, data quality model:一组标准的数据质量特性;请从出版方获取当前版本阅读。
- Wikipedia, "Data governance" 和 "Data quality":对这一实践及其维度的概述。
- Wikipedia, "General Data Protection Regulation":关于一项重要法律框架的背景(不是法律建议)。
参考文献
- Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
- Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
- Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
- Data dictionary — Wikipedia — https://en.wikipedia.org/wiki/Data_dictionary
- Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
- Data lineage — Wikipedia — https://en.wikipedia.org/wiki/Data_lineage
- Data cleansing — Wikipedia — https://en.wikipedia.org/wiki/Data_cleansing
- Master data management — Wikipedia — https://en.wikipedia.org/wiki/Master_data_management
- Data classification — Wikipedia — https://en.wikipedia.org/wiki/Data_classification
- Personal data — Wikipedia — https://en.wikipedia.org/wiki/Personal_data
- General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
- Data retention — Wikipedia — https://en.wikipedia.org/wiki/Data_retention