AI 运作模型与能力
AI 运作模型说明谁拥有 AI 系统,它们如何获得经费、被构建或购买、运行和退役,以及人们需要哪些技能;当每种 AI 用法都被当作有生命周期的产品来管理,一支小型赋能团队帮助其他人,并且能力通过实践而不只是课程来培养时,它就能奏效。
为什么这很重要
组织很少以有计划的方式采用 AI。一个团队买了工具,另一个构建了原型,某个供应商打开了一项功能。每个决定在局部都说得通。合在一起,它们形成了一个没人设计过的资产群:重复的工具、不一致的控制措施、不清晰的所有权,以及在发票上才浮现的成本。出了问题,没人知道谁负责。进展顺利时,没人能复制它。
运作模型是对“我们作为一个组织如何使用 AI?”的回答。它描述角色与职责、如何作决定、工作如何获得经费、系统如何被构建或购买并保持运行,以及人们如何学习。它不必庞大。小型组织的模型可能一页纸就够了。重要的是这些问题有答案。
对 AI 而言,这种需要比许多其他技术更为迫切,因为 AI 系统会变化:模型由供应商更新,数据发生变化,行为发生漂移。它们需要持续的照料,这是产品团队所提供的,而不是在上线时就结束的项目。本主题描述 AI 运作模型的主要要素以及与之配套的技能。它建立在产品所有权(主题 2.8 — 产品与服务所有权)、AI 治理(主题 5.6 — AI 治理、风险与合规)和财务管理(主题 4.5 — 财务管理与 FinOps)之上,并与组织变革(主题 8.3 — 组织变革与采纳)相联系。
核心概念
运作模型。 对组织如何交付价值的描述:其结构、流程、人员、技术和治理。维基百科描述了运作模型(operating models)。AI 运作模型是涵盖 AI 如何被选择、获得经费、被构建或购买、运行、治理和改进的那一部分。
AI 即产品。 AI 系统有用户、目的、待办事项列表、成本和生命周期。如主题 2.8 — 产品与服务所有权所述,把它当作有负责人的产品。负责人对成果、数据、质量和风险负责,并决定何时改进或退役。
生命周期。 阶段包括识别机会、评估价值和风险、构建或购买、测试、部署、运营与监控、改进和退役。维基百科描述的机器学习运维(MLOps)把工程纪律应用于模型的生命周期:版本管理、部署、监控和再训练。对于供应商的模型,同样的阶段适用,只是技术部分更少,而合同和监控更多。
角色。 典型的角色包括一位高管发起人、每个系统的 AI 产品负责人、构建并运行它的工程师、它所使用数据的数据负责人、安全与隐私方面的伙伴、一位法律顾问,以及使用它和受它影响的人。小团队会合并角色。指明他们,并清楚说明由谁决定。
赋能团队或卓越中心。 帮助其他团队用好 AI 的小组:它提供指南、模板、已批准的工具、培训,并对较高风险的用法进行评审。维基百科描述了卓越中心(centers of excellence)。风险在于它变成瓶颈或关卡。好的赋能团队让安全的路径成为容易的路径,并与团队一起工作,而不是替团队工作。
集中式、联合式与嵌入式模型。 在集中式模型中,一个团队为所有人构建并运行 AI。在嵌入式模型中,每个产品团队自己做。联合式模型把共享的平台和标准与本地的所有权结合起来。大多数组织最终是联合式的混合。根据使用规模、可用的技能和风险来选择。
构建、购买或配置。 每种 AI 用法都可以内部构建、作为产品购买,或由一个模型加上你自己的数据组装。维基百科把自制还是外购(build-or-buy)决策描述为成本效益分析的一种形式。考虑总成本、依赖供应商的风险、数据控制、速度以及你将需要的技能。见主题 3.14 — 供应商管理。
经费。 对重要的系统,把 AI 系统当作有持久团队的产品来拨款,而不是一次性项目。包括运行成本,如使用费、托管、监控和支持。按用例和成果跟踪成本。见主题 4.5 — 财务管理与 FinOps。
平台与共享服务。 共享的组件,比如经批准的模型网关、提示词和技能库、评估框架、数据目录和日志,减少重复工作,使控制更容易。见主题 5.7 — AI 技能与提示词。
数据基础。 AI 依赖准确、可获取且受治理的数据。许多 AI 计划卡在数据上,而不是模型上。见主题 7.2 — 数据基础与治理。
技能与能力。 人们需要一系列技能:理解 AI 能做什么、不能做什么(常称为 AI 素养,是维基百科描述的数字素养的一种形式)、写清晰的提示词并检查结果、评估风险、构建和测试系统,以及管理数据。不同的角色需要不同的深度。维基百科描述了技能提升(upskilling)和再培训,作为培养技能的方法。
在实践中学习。 技能最多地来自在真实工作中带反馈的练习,辅以简短的培训和示例。维基百科描述的实践社区(communities of practice)有助于人们分享行之有效的做法。让有经验的用户与新用户结对。见主题 8.5 — 学习路径与认证。
对人与角色的影响。 AI 改变任务,在某些角色中,还会改变所需人员的数量。维基百科把技术性失业(technological unemployment)描述为一个长期争论的关切。对员工坦诚相告你的意图,让他们参与设计,并规划转岗和技能再培养。见主题 8.3 — 组织变革与采纳。
价值与成果。 定义每个 AI 系统应当改善的成果,比如解决时间、质量或用户满意度,带有基线和度量的办法。维基百科描述了投资回报率(return on investment)及其局限。警惕那些把“节省”的时间计算在内、却从未重新分配的节省估算。
标准与保证。 ISO/IEC 42001 和 NIST AI 风险管理框架等框架,描述了运作模型应当涵盖的管理体系要素。见主题 5.6 — AI 治理、风险与合规。
试点与规模化。 概念验证(proofs of concept)成本低,往往令人印象深刻。规模化才是问题出现的地方:数据质量、集成、安全、成本和支持。从一开始就规划从试点到生产的转变,包括由谁来运行。
这些视角如何契合。 运作模型组织着 AI 视角。敏捷实践建议持久的产品团队和简短的试用。自动化和分析是邻居:自动化对 AI 的输出采取行动,分析提供数据和度量。
最佳实践
- 把每个重要的 AI 系统当作产品。 指定负责人、团队、待办事项列表、预算和生命周期,包括退役。定期评审每个系统的价值和风险。
- 写下角色和决策权。 说明谁发起、谁拥有每个系统、谁批准较高风险的用法,以及谁可以叫停。控制在一页纸内。
- 组建一支小型赋能团队。 赋予它提供指南、工具、培训和评审的使命,并以它对团队有多大帮助而不是它设了多少关卡来衡量它。
- 依据证据选择构建、购买或配置。 对每种情形,比较总成本、风险、数据控制、速度和技能。记录决定,并在情况变化时重新审视。
- 从一开始就为运行成本出资。 不仅为构建,也为使用费、监控、支持和改进编列预算。按用例和成果跟踪成本。
- 提供共享平台。 提供已批准的工具以及用于访问、日志、评估和提示词与技能的通用服务。让已批准的路径比变通办法更快。
- 投资于数据。 指定数据负责人,修复阻碍用例的质量问题,并记录来源。从首批用例所需的数据开始。
- 按角色培养技能。 为所有人提供简短、实用的培训,为构建者和负责人提供更深入的培训,并给出在真实任务上练习的时间。创造分享有效做法的场所。
- 对人要诚实。 说明你对角色和人员编制的打算,让员工参与设计新的工作方式,并支持那些工作发生变化的人。
- 规划从试点到生产的路径。 在试点之前,决定什么算成功、由谁运行、需要哪些控制措施,以及大规模下的成本。停止那些无法通过这些检验的试点。
与团队讨论的问题
我们使用的每个 AI 系统由谁拥有?谁来决定何时改变或停止它? 使用清单。预期会有缺口。追问:为最重要的三个系统指派负责人并记录决策权。
我们希望中央 AI 小组为我们做什么?哪些必须留给各团队? 讨论帮助与控制。预期想要标准的人和想要速度的人看法不同。追问:列出该小组应当提供的三项服务。
对我们最近一次 AI 的购买或构建,我们比较过选项吗?今天我们会怎么决定? 查看决策记录。预期很少。追问:商定一份用于构建、购买或配置决策的简短模板。
我们的 AI 用法的持续成本是多少?谁来支付? 索要数字。预期会有未知,尤其是使用费。追问:选择一个用例,建立成本估算。
人们需要哪些技能才能在工作中用好 AI?他们将如何获得? 按角色询问。预期在检查和理解局限方面有缺口。追问:规划一次以真实任务为内容的练习课。
我们告诉员工 AI 会如何改变他们的工作了吗?他们相信吗? 直接问员工。预期会有焦虑。追问:商定领导者可以诚实地说什么,以及他们将做什么来支持员工。
实践:一个服务管理示例
一家国家环境保护机构的各部门里分布着 30 种 AI 用法:对话助手、标记异常传感器读数的模型、总结征求意见回复的工具,以及研究小组开展的若干试点。新上任的首席数字官发现,三个部门为类似的转录服务付费,两个试点已运行超过一年而没有决定,而且没有人能说出该机构在 AI 上花了多少钱。
她组建了一个由来自 IT、数据、安全和法务的四人组成的小型赋能团队。它的第一项工作是清单,一个月内完成。第二项是一页纸的运作模型:每种 AI 用法在业务一侧有一位指定的负责人;赋能团队提供一个带日志的已批准的模型网关、一个经过评审的提示词和技能库,以及对中高风险用法在十个工作日内完成的风险评审;并由每季度一次的组合会议决定哪些试点要扩大、改变或停止。
组合会议停止了五个缺少负责人或度量的试点,并把三份转录合同合并为一份。对于支持污染告警决策的传感器异常模型,负责人委托开展数据质量评审,并设置了漂移监控。两个最有价值的系统的经费从项目预算改为年度团队预算,包括使用费。
在技能方面,团队为全体员工提供一次两小时关于安全使用 AI 的实践课,并为 40 名构建或拥有系统的人提供较长的课程。一个实践社区每月聚会。代表员工的工会询问 AI 对工作岗位意味着什么;首席数字官书面承诺,该计划在两年内不会被用来削减岗位,节省下来的时间将用于积压的检查工作。
变化在于:该机构有了一份清单、明确的负责人,以及一个寻求帮助的统一地方。仍然困难的是:一些研究小组把评审途径视为刹车,仍然运行非正式的工具;有两个系统的使用成本高于估计,而预算没有调整;而关于岗位的承诺限制了财务部门希望保留的选项。首席数字官每季度评审途径的速度和预算。
四种视角
产品与交付团队
像拥有产品那样拥有你的 AI 系统:待办事项列表、监控、成本和退役。使用共享平台和已批准的库。及早向赋能团队求助。
服务与运维团队
参与运行 AI 系统并报告你所看到的。学习如何检查输出,并把漂移和错误告诉负责人。使用共享的工具。
领导层与治理
发起这一模型,指派负责人,并为持久的团队和运行成本出资。要求查看带有价值和风险的组合视图。对员工坦诚相告其对角色的影响。
客户与用户
你应当知道谁对影响你的 AI 系统负责,以及如何提出关切。问问你的反馈如何到达负责人。
敏捷、AI、自动化与分析
敏捷
用持久的团队、简短的周期以及与用户和干系人的定期评审来运行 AI 产品。把运作模型本身视为要小步改进的东西。注意:避免以固定计划启动庞大的 AI 项目;从少数几个用例开始并学习。
AI
本主题关乎管理 AI 本身:负责人、生命周期、经费和技能。AI 可以帮助组合分析和文档,需要审查。注意:批准一切或什么都不批准的赋能团队会失去信誉;让评审与风险相称。见主题 5.6 — AI 治理、风险与合规。
自动化
在共享平台中自动化清单的数据来源、成本报告、日志和策略检查,使安全的路径同时也是容易的路径。注意:在没有已批准替代方案的情况下阻止使用的自动化,会把人们逼向影子工具。见主题 6.1 — 自动化策略。
分析
跟踪组合:用法的数量、负责人、每个用例的成本、价值度量、事件、评审时间和技能覆盖。注意:AI 项目数或受训员工数会奖励活动而非成果;要与价值和质量的度量配对。见主题 7.3 — 度量与报告和《服务管理度量》一书。
常见失败模式
- 工具蔓延。 每个团队买自己的。保留清单并整合。
- 无人负责的系统。 没人维护或叫停它们。指定负责人并评审组合。
- 项目而不是产品。 团队在上线后解散。为重要系统的持久团队出资。
- 把关的中心。 赋能团队阻碍工作。把它做成带有响应目标的服务。
- 忽视运行成本。 使用费让预算措手不及。从一开始就把它们包括进来。
- 有培训无练习。 课程上了,习惯未变。在真实任务上练习。
- 对岗位保持沉默。 恐惧蔓延。说明你的打算并让员工参与。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 所有权与角色 | 不清楚 | 倡导者 | 每个系统都有指定的负责人和决策权 | 结合结果评审角色 | 角色在整个企业和合作伙伴之间协调 |
| 经费与生命周期 | 项目资金 | 有一些运行经费 | 关键系统获得持久经费,生命周期已定义 | 定期评审成本和价值 | 依据价值和风险为组合出资并重新平衡 |
| 平台与赋能 | 个人工具 | 共享的指南 | 已批准的平台、库和评审服务 | 度量使用和满意度 | 平台与治理和自动化整合 |
| 技能 | 临时 | 意识培训 | 带练习的按角色学习 | 对照需求跟踪技能 | 在整个劳动力范围内规划技能,并支持变革 |
检查清单
- 每个重要的 AI 系统都有指定的产品负责人。
- 角色和决策权已写在一页纸上。
- 一支小型赋能团队提供工具、指南和评审。
- 构建、购买或配置的决策有记录。
- 运行成本已编列预算,并按用例跟踪。
- 共享平台服务使已批准的路径变得容易。
- 培训按角色进行,并包括在真实任务上的练习。
- 我们已诚实地告诉员工 AI 将如何影响他们的工作。
AI 提示词
比较构建、购买和配置。
我们的用例:[描述]。我们的约束:[数据敏感度、技能、预算、时间表]。选项:[列表]。
请起草一张比较表,标准包括(三年总成本、数据控制、速度、依赖风险、所需技能、变更能力),并针对每个选项,说明根据我的描述我们已知什么、不知道什么。不要选择选项,也不要编造成本。
请列出你不确定的事项。
起草供讨论的一页纸运作模型。
我们的组织:[类型、规模]。我们今天的 AI 用法:[列表]。我们的治理机构:[列表]。
请起草一页纸的运作模型,包含角色、决策权、经费方式、AI 如何被构建或购买、风险评审如何运作,以及如何培养技能。标明每一项假设,并在我的描述没有依据之处留 [空白]。
请列出你不确定的事项。
按角色规划技能。
我们团队的角色:[列出每个角色做什么]。计划中的 AI 用法:[列表]。
请针对每个角色,列出所需的技能(AI 的使用、检查输出、风险、构建、数据)、一项在真实工作上的练习活动,以及一种可看出技能已增长的办法。不要点名课程或供应商。
请列出你不确定的事项。
AI 技能
- portfolio-management:用于评审 AI 组合的价值与风险。
- mlops:用于在整个生命周期中管理模型。
- training-needs-analysis:用于确定每个角色所需的技能。
- raci-matrix:用于厘清角色和决策权。
- roi-analysis:用于权衡 AI 用法的成本与收益。
主要来源
- NIST, AI Risk Management Framework:包含治理和组织角色的结构。
- ISO/IEC 42001(标准本身):AI 的管理体系要求;请从出版方获取当前版本阅读。
- Marty Cagan,Empowered(2020):关于产品团队以及组织如何支持它们。
- Wikipedia, "MLOps" 和 "Operating model":对生命周期和这一概念的概述。
参考文献
- Operating model — Wikipedia — https://en.wikipedia.org/wiki/Operating_model
- MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
- Center of excellence — Wikipedia — https://en.wikipedia.org/wiki/Center_of_excellence
- Product management — Wikipedia — https://en.wikipedia.org/wiki/Product_management
- Cost–benefit analysis — Wikipedia — https://en.wikipedia.org/wiki/Cost%E2%80%93benefit_analysis
- Digital literacy — Wikipedia — https://en.wikipedia.org/wiki/Digital_literacy
- Community of practice — Wikipedia — https://en.wikipedia.org/wiki/Community_of_practice
- Technological unemployment — Wikipedia — https://en.wikipedia.org/wiki/Technological_unemployment
- Return on investment — Wikipedia — https://en.wikipedia.org/wiki/Return_on_investment
- Proof of concept — Wikipedia — https://en.wikipedia.org/wiki/Proof_of_concept
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework