为什么这很重要

组织很少以有计划的方式采用 AI。一个团队买了工具,另一个构建了原型,某个供应商打开了一项功能。每个决定在局部都说得通。合在一起,它们形成了一个没人设计过的资产群:重复的工具、不一致的控制措施、不清晰的所有权,以及在发票上才浮现的成本。出了问题,没人知道谁负责。进展顺利时,没人能复制它。

运作模型是对“我们作为一个组织如何使用 AI?”的回答。它描述角色与职责、如何作决定、工作如何获得经费、系统如何被构建或购买并保持运行,以及人们如何学习。它不必庞大。小型组织的模型可能一页纸就够了。重要的是这些问题有答案。

对 AI 而言,这种需要比许多其他技术更为迫切,因为 AI 系统会变化:模型由供应商更新,数据发生变化,行为发生漂移。它们需要持续的照料,这是产品团队所提供的,而不是在上线时就结束的项目。本主题描述 AI 运作模型的主要要素以及与之配套的技能。它建立在产品所有权(主题 2.8 — 产品与服务所有权)、AI 治理(主题 5.6 — AI 治理、风险与合规)和财务管理(主题 4.5 — 财务管理与 FinOps)之上,并与组织变革(主题 8.3 — 组织变革与采纳)相联系。

核心概念

运作模型。 对组织如何交付价值的描述:其结构、流程、人员、技术和治理。维基百科描述了运作模型(operating models)。AI 运作模型是涵盖 AI 如何被选择、获得经费、被构建或购买、运行、治理和改进的那一部分。

AI 即产品。 AI 系统有用户、目的、待办事项列表、成本和生命周期。如主题 2.8 — 产品与服务所有权所述,把它当作有负责人的产品。负责人对成果、数据、质量和风险负责,并决定何时改进或退役。

生命周期。 阶段包括识别机会、评估价值和风险、构建或购买、测试、部署、运营与监控、改进和退役。维基百科描述的机器学习运维(MLOps)把工程纪律应用于模型的生命周期:版本管理、部署、监控和再训练。对于供应商的模型,同样的阶段适用,只是技术部分更少,而合同和监控更多。

角色。 典型的角色包括一位高管发起人、每个系统的 AI 产品负责人、构建并运行它的工程师、它所使用数据的数据负责人、安全与隐私方面的伙伴、一位法律顾问,以及使用它和受它影响的人。小团队会合并角色。指明他们,并清楚说明由谁决定。

赋能团队或卓越中心。 帮助其他团队用好 AI 的小组:它提供指南、模板、已批准的工具、培训,并对较高风险的用法进行评审。维基百科描述了卓越中心(centers of excellence)。风险在于它变成瓶颈或关卡。好的赋能团队让安全的路径成为容易的路径,并与团队一起工作,而不是替团队工作。

集中式、联合式与嵌入式模型。 在集中式模型中,一个团队为所有人构建并运行 AI。在嵌入式模型中,每个产品团队自己做。联合式模型把共享的平台和标准与本地的所有权结合起来。大多数组织最终是联合式的混合。根据使用规模、可用的技能和风险来选择。

构建、购买或配置。 每种 AI 用法都可以内部构建、作为产品购买,或由一个模型加上你自己的数据组装。维基百科把自制还是外购(build-or-buy)决策描述为成本效益分析的一种形式。考虑总成本、依赖供应商的风险、数据控制、速度以及你将需要的技能。见主题 3.14 — 供应商管理。

经费。 对重要的系统,把 AI 系统当作有持久团队的产品来拨款,而不是一次性项目。包括运行成本,如使用费、托管、监控和支持。按用例和成果跟踪成本。见主题 4.5 — 财务管理与 FinOps。

平台与共享服务。 共享的组件,比如经批准的模型网关、提示词和技能库、评估框架、数据目录和日志,减少重复工作,使控制更容易。见主题 5.7 — AI 技能与提示词。

数据基础。 AI 依赖准确、可获取且受治理的数据。许多 AI 计划卡在数据上,而不是模型上。见主题 7.2 — 数据基础与治理。

技能与能力。 人们需要一系列技能:理解 AI 能做什么、不能做什么(常称为 AI 素养,是维基百科描述的数字素养的一种形式)、写清晰的提示词并检查结果、评估风险、构建和测试系统,以及管理数据。不同的角色需要不同的深度。维基百科描述了技能提升(upskilling)和再培训,作为培养技能的方法。

在实践中学习。 技能最多地来自在真实工作中带反馈的练习,辅以简短的培训和示例。维基百科描述的实践社区(communities of practice)有助于人们分享行之有效的做法。让有经验的用户与新用户结对。见主题 8.5 — 学习路径与认证。

对人与角色的影响。 AI 改变任务,在某些角色中,还会改变所需人员的数量。维基百科把技术性失业(technological unemployment)描述为一个长期争论的关切。对员工坦诚相告你的意图,让他们参与设计,并规划转岗和技能再培养。见主题 8.3 — 组织变革与采纳。

价值与成果。 定义每个 AI 系统应当改善的成果,比如解决时间、质量或用户满意度,带有基线和度量的办法。维基百科描述了投资回报率(return on investment)及其局限。警惕那些把“节省”的时间计算在内、却从未重新分配的节省估算。

标准与保证。 ISO/IEC 42001 和 NIST AI 风险管理框架等框架,描述了运作模型应当涵盖的管理体系要素。见主题 5.6 — AI 治理、风险与合规。

试点与规模化。 概念验证(proofs of concept)成本低,往往令人印象深刻。规模化才是问题出现的地方:数据质量、集成、安全、成本和支持。从一开始就规划从试点到生产的转变,包括由谁来运行。

这些视角如何契合。 运作模型组织着 AI 视角。敏捷实践建议持久的产品团队和简短的试用。自动化和分析是邻居:自动化对 AI 的输出采取行动,分析提供数据和度量。

最佳实践

  1. 把每个重要的 AI 系统当作产品。 指定负责人、团队、待办事项列表、预算和生命周期,包括退役。定期评审每个系统的价值和风险。
  2. 写下角色和决策权。 说明谁发起、谁拥有每个系统、谁批准较高风险的用法,以及谁可以叫停。控制在一页纸内。
  3. 组建一支小型赋能团队。 赋予它提供指南、工具、培训和评审的使命,并以它对团队有多大帮助而不是它设了多少关卡来衡量它。
  4. 依据证据选择构建、购买或配置。 对每种情形,比较总成本、风险、数据控制、速度和技能。记录决定,并在情况变化时重新审视。
  5. 从一开始就为运行成本出资。 不仅为构建,也为使用费、监控、支持和改进编列预算。按用例和成果跟踪成本。
  6. 提供共享平台。 提供已批准的工具以及用于访问、日志、评估和提示词与技能的通用服务。让已批准的路径比变通办法更快。
  7. 投资于数据。 指定数据负责人,修复阻碍用例的质量问题,并记录来源。从首批用例所需的数据开始。
  8. 按角色培养技能。 为所有人提供简短、实用的培训,为构建者和负责人提供更深入的培训,并给出在真实任务上练习的时间。创造分享有效做法的场所。
  9. 对人要诚实。 说明你对角色和人员编制的打算,让员工参与设计新的工作方式,并支持那些工作发生变化的人。
  10. 规划从试点到生产的路径。 在试点之前,决定什么算成功、由谁运行、需要哪些控制措施,以及大规模下的成本。停止那些无法通过这些检验的试点。

与团队讨论的问题

我们使用的每个 AI 系统由谁拥有?谁来决定何时改变或停止它? 使用清单。预期会有缺口。追问:为最重要的三个系统指派负责人并记录决策权。

我们希望中央 AI 小组为我们做什么?哪些必须留给各团队? 讨论帮助与控制。预期想要标准的人和想要速度的人看法不同。追问:列出该小组应当提供的三项服务。

对我们最近一次 AI 的购买或构建,我们比较过选项吗?今天我们会怎么决定? 查看决策记录。预期很少。追问:商定一份用于构建、购买或配置决策的简短模板。

我们的 AI 用法的持续成本是多少?谁来支付? 索要数字。预期会有未知,尤其是使用费。追问:选择一个用例,建立成本估算。

人们需要哪些技能才能在工作中用好 AI?他们将如何获得? 按角色询问。预期在检查和理解局限方面有缺口。追问:规划一次以真实任务为内容的练习课。

我们告诉员工 AI 会如何改变他们的工作了吗?他们相信吗? 直接问员工。预期会有焦虑。追问:商定领导者可以诚实地说什么,以及他们将做什么来支持员工。

实践:一个服务管理示例

一家国家环境保护机构的各部门里分布着 30 种 AI 用法:对话助手、标记异常传感器读数的模型、总结征求意见回复的工具,以及研究小组开展的若干试点。新上任的首席数字官发现,三个部门为类似的转录服务付费,两个试点已运行超过一年而没有决定,而且没有人能说出该机构在 AI 上花了多少钱。

她组建了一个由来自 IT、数据、安全和法务的四人组成的小型赋能团队。它的第一项工作是清单,一个月内完成。第二项是一页纸的运作模型:每种 AI 用法在业务一侧有一位指定的负责人;赋能团队提供一个带日志的已批准的模型网关、一个经过评审的提示词和技能库,以及对中高风险用法在十个工作日内完成的风险评审;并由每季度一次的组合会议决定哪些试点要扩大、改变或停止。

组合会议停止了五个缺少负责人或度量的试点,并把三份转录合同合并为一份。对于支持污染告警决策的传感器异常模型,负责人委托开展数据质量评审,并设置了漂移监控。两个最有价值的系统的经费从项目预算改为年度团队预算,包括使用费。

在技能方面,团队为全体员工提供一次两小时关于安全使用 AI 的实践课,并为 40 名构建或拥有系统的人提供较长的课程。一个实践社区每月聚会。代表员工的工会询问 AI 对工作岗位意味着什么;首席数字官书面承诺,该计划在两年内不会被用来削减岗位,节省下来的时间将用于积压的检查工作。

变化在于:该机构有了一份清单、明确的负责人,以及一个寻求帮助的统一地方。仍然困难的是:一些研究小组把评审途径视为刹车,仍然运行非正式的工具;有两个系统的使用成本高于估计,而预算没有调整;而关于岗位的承诺限制了财务部门希望保留的选项。首席数字官每季度评审途径的速度和预算。

四种视角

产品与交付团队

像拥有产品那样拥有你的 AI 系统:待办事项列表、监控、成本和退役。使用共享平台和已批准的库。及早向赋能团队求助。

服务与运维团队

参与运行 AI 系统并报告你所看到的。学习如何检查输出,并把漂移和错误告诉负责人。使用共享的工具。

领导层与治理

发起这一模型,指派负责人,并为持久的团队和运行成本出资。要求查看带有价值和风险的组合视图。对员工坦诚相告其对角色的影响。

客户与用户

你应当知道谁对影响你的 AI 系统负责,以及如何提出关切。问问你的反馈如何到达负责人。

敏捷、AI、自动化与分析

敏捷

用持久的团队、简短的周期以及与用户和干系人的定期评审来运行 AI 产品。把运作模型本身视为要小步改进的东西。注意:避免以固定计划启动庞大的 AI 项目;从少数几个用例开始并学习。

AI

本主题关乎管理 AI 本身:负责人、生命周期、经费和技能。AI 可以帮助组合分析和文档,需要审查。注意:批准一切或什么都不批准的赋能团队会失去信誉;让评审与风险相称。见主题 5.6 — AI 治理、风险与合规。

自动化

在共享平台中自动化清单的数据来源、成本报告、日志和策略检查,使安全的路径同时也是容易的路径。注意:在没有已批准替代方案的情况下阻止使用的自动化,会把人们逼向影子工具。见主题 6.1 — 自动化策略。

分析

跟踪组合:用法的数量、负责人、每个用例的成本、价值度量、事件、评审时间和技能覆盖。注意:AI 项目数或受训员工数会奖励活动而非成果;要与价值和质量的度量配对。见主题 7.3 — 度量与报告和《服务管理度量》一书。

常见失败模式

  • 工具蔓延。 每个团队买自己的。保留清单并整合。
  • 无人负责的系统。 没人维护或叫停它们。指定负责人并评审组合。
  • 项目而不是产品。 团队在上线后解散。为重要系统的持久团队出资。
  • 把关的中心。 赋能团队阻碍工作。把它做成带有响应目标的服务。
  • 忽视运行成本。 使用费让预算措手不及。从一开始就把它们包括进来。
  • 有培训无练习。 课程上了,习惯未变。在真实任务上练习。
  • 对岗位保持沉默。 恐惧蔓延。说明你的打算并让员工参与。

成熟度模型

维度 起步 发展 标准化 管理 协同
所有权与角色 不清楚 倡导者 每个系统都有指定的负责人和决策权 结合结果评审角色 角色在整个企业和合作伙伴之间协调
经费与生命周期 项目资金 有一些运行经费 关键系统获得持久经费,生命周期已定义 定期评审成本和价值 依据价值和风险为组合出资并重新平衡
平台与赋能 个人工具 共享的指南 已批准的平台、库和评审服务 度量使用和满意度 平台与治理和自动化整合
技能 临时 意识培训 带练习的按角色学习 对照需求跟踪技能 在整个劳动力范围内规划技能,并支持变革

检查清单

  • 每个重要的 AI 系统都有指定的产品负责人。
  • 角色和决策权已写在一页纸上。
  • 一支小型赋能团队提供工具、指南和评审。
  • 构建、购买或配置的决策有记录。
  • 运行成本已编列预算,并按用例跟踪。
  • 共享平台服务使已批准的路径变得容易。
  • 培训按角色进行,并包括在真实任务上的练习。
  • 我们已诚实地告诉员工 AI 将如何影响他们的工作。

AI 提示词

比较构建、购买和配置。

我们的用例:[描述]。我们的约束:[数据敏感度、技能、预算、时间表]。选项:[列表]。
请起草一张比较表,标准包括(三年总成本、数据控制、速度、依赖风险、所需技能、变更能力),并针对每个选项,说明根据我的描述我们已知什么、不知道什么。不要选择选项,也不要编造成本。
请列出你不确定的事项。

起草供讨论的一页纸运作模型。

我们的组织:[类型、规模]。我们今天的 AI 用法:[列表]。我们的治理机构:[列表]。
请起草一页纸的运作模型,包含角色、决策权、经费方式、AI 如何被构建或购买、风险评审如何运作,以及如何培养技能。标明每一项假设,并在我的描述没有依据之处留 [空白]。
请列出你不确定的事项。

按角色规划技能。

我们团队的角色:[列出每个角色做什么]。计划中的 AI 用法:[列表]。
请针对每个角色,列出所需的技能(AI 的使用、检查输出、风险、构建、数据)、一项在真实工作上的练习活动,以及一种可看出技能已增长的办法。不要点名课程或供应商。
请列出你不确定的事项。

AI 技能

主要来源

  • NIST, AI Risk Management Framework:包含治理和组织角色的结构。
  • ISO/IEC 42001(标准本身):AI 的管理体系要求;请从出版方获取当前版本阅读。
  • Marty Cagan,Empowered(2020):关于产品团队以及组织如何支持它们。
  • Wikipedia, "MLOps" 和 "Operating model":对生命周期和这一概念的概述。

参考文献

  1. Operating model — Wikipedia — https://en.wikipedia.org/wiki/Operating_model
  2. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
  3. Center of excellence — Wikipedia — https://en.wikipedia.org/wiki/Center_of_excellence
  4. Product management — Wikipedia — https://en.wikipedia.org/wiki/Product_management
  5. Cost–benefit analysis — Wikipedia — https://en.wikipedia.org/wiki/Cost%E2%80%93benefit_analysis
  6. Digital literacy — Wikipedia — https://en.wikipedia.org/wiki/Digital_literacy
  7. Community of practice — Wikipedia — https://en.wikipedia.org/wiki/Community_of_practice
  8. Technological unemployment — Wikipedia — https://en.wikipedia.org/wiki/Technological_unemployment
  9. Return on investment — Wikipedia — https://en.wikipedia.org/wiki/Return_on_investment
  10. Proof of concept — Wikipedia — https://en.wikipedia.org/wiki/Proof_of_concept
  11. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework