AI 治理、风险与合规
AI 治理为组织提供指定的负责人、关于数据和决策的清晰规则、与危害相称的风险评估、测试,以及对其所使用的每个 AI 系统的记录;ISO/IEC 42001、NIST AI 风险管理框架和欧盟《人工智能法案》等框架提供的是词汇和结构,而不是法律建议。
为什么这很重要
AI 同时从许多扇门进入一个组织。供应商为你已经付费的工具增加 AI 功能。团队构建助手。个人把公共对话工具用于工作。每种用法都带来组织可能没有问过的问题:什么数据输入、谁能看到、它有多准确、谁受其决定影响,以及它出错时由谁负责。
没有治理,这些问题就一次一种用法地被回答,前后不一致,或者根本没有人回答。后果从令人尴尬到严重不等:一份机密文件被粘贴到公共工具中,一个筛选系统对某些群体比对其他群体更差,一个助手给客户错误的建议,一位监管者索要控制措施的证据却发现一无所有。
治理就是答案,而且不必沉重。其核心是一小组习惯:知道你使用了什么 AI,为每种用法指定负责人,按可能出错的程度成比例地评估风险,测试和监控,制定关于数据和人工监督的规则,并保存记录。法律和标准发展得很快:维基百科描述的欧盟《人工智能法案》(Artificial Intelligence Act)按风险类别规定义务,许多其他司法辖区也有规则或提案。本主题解释结构和词汇,并说明如何把 AI 治理融入你已有的治理。它不提供法律建议;对于任何法律问题,请咨询合格的顾问。
所有者对最新 ITIL 版本的描述,把 AI 置于服务管理必须应对的环境之内(见主题 1.3 — ITIL 5)。本主题与对 AI 的总体看法(主题 5.1 — 服务管理中的 AI)、代理(主题 5.5 — 代理式 AI 与人工监督)、运作模型(主题 5.8 — AI 运作模型与能力)以及企业治理(主题 8.1 — 治理、风险与合规)相联系。
核心概念
治理、风险与合规(GRC)。 治理是组织如何被指挥和控制;风险管理识别并处理对目标的威胁;合规是满足来自法律、合同和政策的义务。维基百科把 GRC 描述为对这三者的一种整合方法(governance, risk, and compliance)。AI 治理把同样的逻辑应用于 AI。
AI 清单。 一份列出所有在用或在开发的 AI 系统的清单:目的、负责人、供应商或模型、使用的数据、用户和受影响的人、风险等级及状态。你无法治理你看不到的东西。要包括内嵌的供应商功能和用于工作的个人工具。
基于风险的方法。 控制的力度应与潜在危害的程度相匹配。总结会议记录与给求职者排名,风险是不同的。欧盟《人工智能法案》采取类似的方法,类别从最低到不可接受的风险;维基百科描述了这些类别。请与法律顾问一起核对现行文本和你自己的情况。
AI 的风险评估。 对每种用法,问:谁可能受到伤害,如何受伤;可能性有多大、严重程度如何;系统的局限是什么;出错时会发生什么;替代方案是什么。维基百科描述了一般意义上的风险管理(risk management)。记录评估和负责人的决定。维基百科描述的隐私影响评估(privacy impact assessment)是与个人数据相关的工具。
标准与框架。 2023 年发布的 ISO/IEC 42001 规定了人工智能管理体系的要求,结构上可与其他 ISO 管理体系标准相比。美国国家标准与技术研究院(NIST)发布的 AI 风险管理框架围绕四项功能组织:治理、映射、度量和管理。两者都是提供结构和共同词汇的自愿性工具。请从出版方阅读现行文本。见主题 1.8 — 服务管理框架与标准。
法律与监管。 AI 受现有法律的约束,如数据保护、消费者保护、反歧视、劳动和知识产权法,也受新的 AI 专门规则的约束。维基百科描述了各司法辖区的人工智能监管(regulation of artificial intelligence),这一领域变化很快。义务取决于你在何处运营以及你做什么。本指南无法告诉你什么适用。
数据保护与隐私。 AI 系统常常处理个人数据。欧盟《通用数据保护条例》(GDPR)等法律规定了合法依据、目的、最小化、个人的权利,以及在某些情况下对自动化决策的限制。维基百科描述了 GDPR 和隐私。让你的隐私官或法律顾问参与,并记录数据去向何处、保留多久,以及是否用来训练任何模型。
偏见与公平。 用过去数据训练的 AI 可能复制不公平的模式,使一些人得到更差的结果。维基百科描述了算法偏见(algorithmic bias)和机器学习中的公平性(fairness in machine learning)。针对与该用法相关的群体,测试结果的差异,并评审谁受到影响,而不只是平均表现。在上线前决定什么是可接受的。
透明度与可解释性。 受 AI 系统影响的人应当知道它在被使用,对于重大决定,应能获得解释并有质疑的途径。维基百科描述了算法透明度和可解释 AI(explainable AI)。合适的程度取决于风险高低。
人工监督。 有一个能理解、质疑并推翻系统的人,并且他有时间和信息这样做。见主题 5.5 — 代理式 AI 与人工监督。只存在于纸面上的监督是常见的发现。
安全与保障。 AI 系统可能受到攻击(例如提示注入),可能泄露数据,也可能表现出意想不到的行为。维基百科描述的红队演练(red teaming)是通过模拟对手来测试系统的做法。见主题 3.13 — 信息安全管理。
知识产权。 关于用于训练模型的材料、输出的所有权以及模型本身的许可,都会引出问题。维基百科描述了知识产权和版权。见主题 4.2 — 软件资产管理。请就这些如何影响你征求意见。
问责与角色。 治理需要清晰的角色:一位高管发起人、一个制定政策并评审较高风险用法的机构、每个系统的负责人,以及安全、隐私和法律方面的专家。维基百科描述了问责(accountability)。避免出现批准一切并阻碍工作的委员会;把评审留给较高风险的用法。
生命周期控制。 控制措施贯穿系统的整个生命周期:设计(目的、数据、风险)、构建或购买(尽职调查、合同、测试)、部署(批准、监控)、运营(性能、漂移、事件)和退役。见主题 3.14 — 供应商管理。
记录。 保留证据:清单、风险评估、测试结果、批准、事件记录和使用日志。记录支持审计、学习,以及来自受影响者的质疑。
这些视角如何契合。 治理是围绕 AI 视角的控制层。敏捷实践建议快速、成比例的评审,并提供团队无需等待即可使用的护栏。自动化可以强制执行规则,比如阻止敏感数据发送到未经批准的工具。分析提供监控的证据。
最佳实践
- 先建立清单。 询问各团队,检查供应商设置,并评审网络和费用数据。记录每个 AI 系统及其负责人和目的。
- 按风险分类。 定义少数几个风险等级并附示例,比如低(起草内部文本)、中(面向客户的回答)和高(影响人们权利或安全的决定)。让评审的力度与风险等级挂钩。
- 为每种用法指定负责人。 每个系统有一位负责的人,签署风险评估,并对性能和事件负责。
- 制定简短清晰的政策。 说明哪些数据可以发送到哪些工具、哪些用法需要批准、什么绝不能做,以及该问谁。保持在几页之内,并发布示例。
- 提供已批准的工具和途径。 如果员工没有已批准的方式使用 AI,他们就会使用未经批准的。提供条款合适的工具和快速的批准途径。
- 事前评估,事后测试。 在某种用法上线之前做成比例的风险评估,并用真实的案例测试,包括对偏见和滥用的检查。在重大变更之后重复。
- 核查供应商及其条款。 询问供应商如何使用你的数据、如何测试、如何通知你模型变更,以及最后数据会怎样。记录答案。见主题 3.14 — 供应商管理。
- 在实践中界定人工监督。 对每种用法,说明谁评审什么、依据什么信息、多久一次,并对评审抽样。
- 监控并处理事件。 跟踪错误、投诉、漂移和安全事态。像对待其他事件一样对待 AI 事件,并从中学习。见主题 3.2 — 事件管理。
- 定期评审并保存记录。 至少每年以及在法律或系统变化时,重新审视清单和风险等级。把证据保存在一处。
与团队讨论的问题
我们今天在哪里使用 AI?每种用法由谁负责?可能出什么问题? 建立第一份清单。预期会有缺口,尤其是供应商功能和个人工具。追问:选出风险最高的三个并指派负责人。
我们的哪些用法影响人们的访问权限、金钱、健康或就业?它们接受了什么评审? 寻找较高风险的用法。预期对什么算数会有不确定。追问:让法律和隐私顾问参与分类。
员工向 AI 工具输入什么数据?他们知道规则吗? 需要时匿名询问。预期会有意外。追问:商定一条带示例的清晰规则,并提供已批准的替代方案。
如果监管机构或客户问我们如何控制自己的 AI,我们会展示什么? 收集现有的东西。预期是一份单薄的档案。追问:选择三份要产出的文件:清单、政策和一份风险评估。
我们如何测试不公平的结果?应该看哪些群体? 想想每种用法所影响的人。预期没人测试过。追问:选择一种用法,在咨询意见的情况下设计一个跨群体的简单比较。
谁可以对某种 AI 用法说不?他们这样做时会发生什么? 没有叫停权力的治理只是摆设。预期答案不清楚。追问:为较高风险的用法指定决策者,并为评审设定服务级别。
实践:一个服务管理示例
一家国家社会保障机构在多个地方使用 AI:公共网站上供应商的虚拟代理、为案件处理人员总结案件笔记的工具、IT 人员使用的开发助手,以及标记福利申请中可能错误以供复核的试点。没有任何中央记录,而一位部长办公室询问该机构如何控制 AI。
首席信息官请服务管理办公室在六周内建立一份清单。办公室发现了十一种用法,包括 IT 部门里没人知道的两种:供应商在案件管理系统中打开的一项文本摘要功能,以及一个区域办公室用个人账户使用的转录工具。团队与隐私官和法律部门一起对用法按风险分类。申请标记试点被归为高风险,因为其输出可能导致对某人采取行动;案件笔记摘要为中等;开发助手为低,尽管它带有许可方面的问题。
每种用法都指定了负责人。对于申请试点,负责人委托了一次风险评估,包括对不同群体的标记率进行比较,以及一条规则:任何人都绝不会仅凭该工具的输出就被拒绝福利。转录工具被叫停,直到找到一个获批的替代品;区域办公室得到了一款供应商认可的工具,合同中带有数据保护条款。一份四页的政策规定了数据和批准的规则,并承诺对中等风险的用法在十个工作日内提供简短的评审途径。
变化在于:该机构可以用一份清单、一项政策,以及对其风险最高的用法的风险评估来回应部委。仍然困难的是:默认开启的供应商功能不断出现,该机构没有自动发现它们的办法;跨群体的比较受限于该机构可能不得合法持有的数据;而评审途径承诺的十天让一个小团队不堪重负。办公室计划每季度评审一次供应商功能,并就测试问题请求法律指导。
四种视角
产品与交付团队
登记你的 AI 用法,及早评估风险,用现实和对抗性的案例测试,并记录系统可以做什么。内建一条让人们质疑结果的途径,以及你关闭它的办法。
服务与运维团队
监控生产中的 AI 系统,处理事件,并报告错误和投诉。遵守数据规则,并把你的工具中出现的新 AI 功能告诉负责人。
领导层与治理
发起这个计划,明确决策权,并为之出资。要求提供清单、风险等级和测试的证据。不要把问责外包给供应商或委员会。
客户与用户
当 AI 以对你重要的方式被使用时,你应当得到告知,并能联系到真人、质疑决定。询问你的数据如何被使用,并报告似乎有误或不公平的结果。
敏捷、AI、自动化与分析
敏捷
提供快速、成比例的评审,以及团队可以遵循的护栏,比如已批准的工具和低风险用法的简短检查清单。与团队一起迭代政策。注意:缓慢、沉重的评审会促使团队绕开它;保持低风险途径的快捷。
AI
AI 可以帮助起草政策、阅读供应商条款并准备风险评估,需要法律和人工审查。也要为这种用法指定负责人。注意:AI 对法律或合同的总结可能是错的;绝不要把它作为合规决定的依据。见主题 5.1 — 服务管理中的 AI。
自动化
自动化清单的数据来源、数据防泄露规则、低风险用法的批准和日志,并评审例外情况。注意:自动阻止可能把工作逼到个人设备上;要搭配已批准的替代方案。见主题 6.1 — 自动化策略。
分析
跟踪有负责人和评估的 AI 用法所占比例、事件、投诉、测试结果和评审时间。注意:完成的评估数量会奖励文书工作;抽查质量,以及控制措施是否有效。见《服务管理度量》一书和主题 7.3 — 度量与报告。
常见失败模式
- 没有清单。 用法在无人察觉中成倍增加。建立并更新清单。
- 一刀切的评审。 要么一切被阻止,要么什么都不评审。让评审与风险相称。
- 没人能遵循的政策。 员工无视它。写简短的规则并附示例,提供已批准的工具。
- 把治理当作文书工作。 文件存在而控制措施不存在。测试控制措施是否有效。
- 相信供应商的说法。 条款和行为未经检查。询问、测试并记录。
- 忽视受影响的人。 偏见和伤害无人看见。跨群体测试结果,并提供质疑的途径。
- 以为法律建议可以由 AI 提供。 错误的总结驱动决策。使用合格的顾问。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 清单与所有权 | 用法未知 | 列出主要用法 | 带有负责人和风险等级的清单 | 通过发现机制评审并核实清单 | 清单与目录、采购和控制措施整合 |
| 风险与测试 | 临时的 | 一些评估 | 上线前成比例的评估和测试 | 监控并据此处理结果 | 跨系统和供应商的持续保证 |
| 政策与数据 | 无 | 指南草稿 | 清晰的政策、已批准的工具和数据规则 | 监控并审计合规情况 | 规则由工具强制执行并随变化调整 |
| 监督与问责 | 不清楚 | 指定了发起人 | 已定义的角色、评审途径和人工监督 | 抽查监督的质量 | 治理在整个企业和合作伙伴之间协调 |
检查清单
- 我们保留一份带有负责人和目的的 AI 清单。
- 每种用法都有风险等级,评审与之相称。
- 一份简短的政策涵盖数据、批准和禁止的用法。
- 有已批准的工具和快速的评审途径。
- 较高风险的用法有记录在案的风险评估和测试,包括对偏见的测试。
- 供应商关于数据、测试和模型变更的条款已被记录。
- 人工监督已被界定并抽样检查。
- 我们就自己的义务咨询了法律和隐私顾问。
AI 提示词
根据笔记起草清单条目。
这是关于一种 AI 用法的笔记:[粘贴]。
请起草一个清单条目,包含:目的、负责人(仅限已说明的)、供应商或模型(仅限已说明的)、使用的数据、受影响的人、它影响的决策,以及带有理由的拟议风险等级。笔记中没有的每一项都标注为 [缺失]。不要陈述法律义务。
请列出你不确定的事项。
为供应商准备问题。
我们正在考虑从某供应商购买一款用于 [用途] 的 AI 产品。我们对它所知道的:[粘贴]。
请写出 20 个向供应商提出的问题,涉及数据使用和保留、用我们的数据训练、对准确性和偏见的测试、安全、模型变更、事件通知以及退出。不要假设答案。
请列出你不确定的事项。
为评审构建风险评估。
AI 用法:[描述]。受影响的人:[列表]。受影响的决策:[列表]。现有控制措施:[列表]。
请起草一张风险评估表,包含:危害、受影响的人、可能性和严重程度(标注为待确认的我的估计)、现有控制措施、可考虑的进一步控制措施,以及向负责人提出的问题。不要给出法律结论。
请列出你不确定的事项。
AI 技能
- risk-register:用于记录 AI 风险、负责人和决策。
- machine-learning-model-card:用于记录模型的目的、数据、性能和局限。
- legal-data-privacy-compliance:用于为法律顾问整理隐私问题。
- legal-compliance-audit:用于为审计准备证据和问题。
- data-governance:用于为 AI 所使用的数据确定所有权和规则。
主要来源
- NIST, AI Risk Management Framework:管理 AI 风险的广泛使用的自愿性框架。
- ISO/IEC 42001(标准本身):人工智能管理体系的要求;请从出版方获取当前版本阅读。
- 欧盟《人工智能法案》的文本以及你自己监管机构的指引:关于法律义务的权威来源。
- Wikipedia, "Regulation of artificial intelligence" 和 "Ethics of artificial intelligence":对这一格局的概述。
参考文献
- Regulation of artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Regulation_of_artificial_intelligence
- Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
- Ethics of artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Ethics_of_artificial_intelligence
- Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
- Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
- General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
- Privacy impact assessment — Wikipedia — https://en.wikipedia.org/wiki/Privacy_impact_assessment
- Governance, risk, and compliance — Wikipedia — https://en.wikipedia.org/wiki/Governance,_risk,_and_compliance
- Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management
- Red team — Wikipedia — https://en.wikipedia.org/wiki/Red_team
- Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework