为什么这很重要

迄今为止,AI 在服务管理中的大多数用法都是建议性的。模型阅读工单并建议一个分类,或起草一份由人编辑的回复。如果建议有误,会有人在任何事情发生之前注意到。AI 代理改变了这一点。它被赋予工具:可以查询系统、更新记录、运行命令、开立和关闭工单、发送消息。它规划朝向目标的步骤并加以执行,从指令到结果之间往往几乎没有人的参与。

这带来真实的价值。代理可以通过提取日志、检查近期变更并发布摘要来调查一条告警。它可以端到端地处理一个常规请求:核实资格、创建账户、通知用户。它可以起草一项修复并开立拉取请求。做得好的话,它把常规工作从忙碌的人手中接过去,并在任何时刻工作。

它也改变了风险的性质。错误的回答只是不便。错误的行动可能删除数据、把访问权限授予错误的人、使服务宕机,或向一万名客户发出一条消息。使代理有用的速度,也使它们的错误迅速扩散。而且代理容易受到攻击:隐藏在工单或网页中的恶意指令,可以操纵一个有权采取行动的代理。

本主题阐述在服务管理中安全使用代理的主要理念:范围、权限、批准、审计和停止。它建立在主题 5.1 — 服务管理中的 AI 和主题 5.6 — AI 治理、风险与合规之上,并与自动化(主题 6.1 — 自动化策略和主题 6.6 — 运行手册自动化与自动修复)、变更赋能(主题 3.4 — 变更赋能)和信息安全(主题 3.13 — 信息安全管理)相联系。

核心概念

AI 代理。 感知环境、作出决策并采取行动以实现目标的系统。维基百科描述了智能代理(intelligent agents)和 AI 代理(AI agents)。在当前实践中,代理通常把语言模型与工具和一个循环结合起来:模型决定下一步做什么,调用工具,读取结果,并继续,直到它判断完成或达到限制。

工具与权限。 代理可以采取的行动集合,比如读取知识库、查询监控、创建工单或重启服务。工具通常通过应用程序接口(API)暴露。维基百科描述了 API。维基百科描述的模型上下文协议(Model Context Protocol)等把模型连接到工具的开放协议,使添加工具变得容易,这既有用,也扩大了代理能做的事情。每个工具都带有自己的风险。

自主性等级。 思考控制的一种有用方式是将其视为从无到完全的等级。在一端,代理只提出建议。然后它准备一项供批准的行动。再然后,它在狭窄的限度内独自行动并报告。在另一端,它不经评审就广泛行动。维基百科关于监督控制(supervisory control)的文章描述了人对自动化系统进行监督的理念。根据出错的代价和撤销的能力,为每项任务选择等级。

人工监督。 人始终有能力理解、批准、停止或纠正代理。维基百科描述了人在回路系统(human-in-the-loop)。监督有几种形式:行动之前批准、行动进行时监控、事后评审。合适的形式取决于速度和风险。对于不可逆的行动,事后评审毫无用处。

自动化偏差与走过场。 人们倾向于批准系统提出的东西,尤其是在批准频繁且看起来相似的时候。维基百科描述了自动化偏差(automation bias)。人们不读就批准的控制措施,不是控制措施。设计批准时要显示将会发生什么,要少到足以被读,并通过抽样来检查。

最小权限。 代理应当只拥有其任务所需的权限,并且只在需要的时间内拥有。维基百科描述了最小权限原则(principle of least privilege)。为代理使用单独的身份,而不是共用的管理员账户,使行动可被追溯、权限可被限制。

困惑的代理人(confused deputy)。 一种安全问题,一个受信任的程序被诱骗,代表没有权限的人使用其权限。维基百科描述了困惑代理人问题(confused deputy problem)。一个能以高权限行动、又从低信任文本(如用户消息)接收指令的代理,就是典型的例子。

提示注入。 隐藏在代理所读取的内容中的恶意指令,比如工单、电子邮件、网页或日志行。维基百科描述了提示注入(prompt injection)。由于模型无法可靠地区分指令与数据,内容来源可以试图重新引导代理。防御主要依靠限制代理能做什么,而不是说服模型无视恶意文本。

沙箱。 在受限的环境中运行代理,对系统和数据的访问受到限制。维基百科描述了计算机安全中的沙箱(sandbox)。让代理在进入生产环境之前,先在测试环境中尝试各项行动。

可逆性。 倾向于可以撤销的行动:创建工单、添加标签、提出变更。把不可逆的行动,如删除、付款和向外发送消息,视为需要批准或被禁止。维基百科描述了数据管理中的回滚(rollback)。

限制与断路器。 对代理每小时可采取的行动数量、可花费的金额、可一次更改的条目数以及可运行的时间设置上限。维基百科描述了速率限制(rate limiting)。限制把失控变成有界的错误。

终止开关(kill switch)。 一种快速、可靠地停止代理并撤销其访问权限的办法。维基百科描述了终止开关(kill switch)。要测试它。依赖代理自身的配合或依赖一个已宕机的系统的终止开关,就不是终止开关。

审计追踪。 对代理被要求做什么、它决定了什么、它以什么输入调用了哪些工具以及发生了什么的完整记录。维基百科描述了审计追踪(audit trail)。没有它,你无法调查错误、证明合规,也无法学习。

问责。 代理不负责任;人才负责。一位指定的负责人要对代理所做的事、它的权限以及对其记录的评审负责。维基百科描述了问责(accountability)。见主题 2.8 — 产品与服务所有权。

多代理系统。 多个代理协同工作会增加复杂性、层层放大的错误以及责任不清。维基百科描述了多代理系统(multi-agent systems)。分别对待每个代理的范围和权限,并对代理指挥代理保持谨慎。

职责分离。 任何单一一方都不应该能独自完成高风险行动,这一理念也适用于代理。提出变更的代理不应是批准它的那个。维基百科描述了职责分离(separation of duties)。

这些视角如何契合。 代理处于 AI 与自动化相遇的地方。敏捷实践建议从小处着手,依据证据分步扩大自主权。分析度量代理做了什么、错在哪里。治理(见主题 5.6 — AI 治理、风险与合规)制定规则。

最佳实践

  1. 以书面形式界定范围。 说明代理是做什么的、可以做什么、绝不能做什么,以及可以接触哪些数据。起初保持狭窄。
  2. 给每个代理自己的身份。 使用权限最低、限于其任务范围的单独账户,并轮换或设定凭据过期。不要重用人类管理员的账户。
  3. 按风险选择自主性等级。 先让代理提出建议,然后对低风险可逆的任务采取行动,对任何有后果或不可逆的事情要求批准。为每项任务写下等级。
  4. 设计人们会读的批准。 显示拟议的行动、原因、证据和影响。让批准少到足以被读,并抽查已批准的项目的质量。
  5. 先在沙箱中测试。 在代理接触生产环境之前,让它面对一份安全的副本,运行包括对抗性案例在内的现实案例。
  6. 把输入视为不可信。 不要让来自工单、电子邮件或网页的内容授予权限。在代理处理不可信内容时,限制可用的工具。
  7. 限制波及范围。 对行动数量、变更量、花费和时间设置限制。让批量操作成为单独的、经批准的步骤。
  8. 记录一切并评审。 保留完整的追踪记录,存放在代理无法改动之处,并定期评审样本。对异常模式发出告警。
  9. 建立并测试终止开关。 使它快速、独立于代理,并为值班人员所知。加以演练。
  10. 缓慢扩大自主权。 只有在一段良好结果之后,经指定负责人批准并有已度量的错误率时,才授予更多。出现问题时就收回。

与团队讨论的问题

以我们打算赋予这个代理的权限,它能做的最糟糕的事是什么? 逐个工具地走一遍权限。预期会感到不安。追问:移除或限制任何其最坏情形我们不能接受的权限。

它的哪些行动我们可以撤销?哪些不能? 列出它们。预期会有一些被假定为安全的不可逆行动。追问:对每项不可逆的行动要求批准。

批准者如何知道自己在批准什么?他们多久会看到一次请求? 想象批准者在繁忙的一天。预期会有冗长而看起来相似的请求。追问:设计一份摘要,并限制批准的数量。

某人必须在工单或电子邮件中写入什么,才能让代理做我们不希望它做的事? 以攻击者的身份试一试。预期会有意外。追问:选择缓解措施,比如在读取不可信内容时限制工具。

如果我们需要立即停止它,谁来做、怎么做、需要多长时间? 索要步骤并演练。预期会有不确定。追问:写一份一页纸的停止程序并测试。

谁拥有这个代理?他们每周评审什么? 指明这个人和评审。预期会有缺口。追问:指派负责人和带有明确问题的每周样本评审。

实践:一个服务管理示例

一家国家税务机关的基础设施团队希望有一个代理在夜间调查生产告警。目前,值班工程师被大多数告警叫醒,花 15 到 30 分钟收集上下文,常常发现原因是一个有文档化修复方法的已知问题。

团队分三个阶段设计这个代理。第一阶段,代理拥有只读访问权限:它可以查询指标、日志、近期变更记录和知识库,并向事件频道发布一份摘要,附上它所用的证据。第二阶段,它还可以执行一小批可逆的行动,比如重启无状态服务,或把工作池扩大两个实例,只有在告警匹配某份有文档的运行手册时才可以,限制每小时三次行动,每次行动之后在频道中发布一条消息。第三阶段尚未获批,届时将允许它提出配置变更,供人批准。

该代理有自己的服务账户,对生产环境只读,外加两项指名的行动。它阅读工单文本和日志,这些可能含有恶意内容,所以当它读取自由文本时,在同一步骤中无法调用任何行动工具。代理关于请求、工具调用和结果的完整记录进入一个独立的日志存储。一位资深工程师是它的负责人,每周评审十次会话,并能用一条命令禁用其凭据,团队每月演练一次。

在第一阶段运行两个月后,值班工程师发现摘要在 85% 的情况下是正确的。10% 的情况下,由于变更记录不完整,它们遗漏了相关变更;5% 的情况下,它们指向了错误的组件。第二阶段从一份运行手册开始。第一个月,代理重启了一项服务三次,都是正确的。在一次测试中,一张精心构造的工单含有一条隐藏指令,要求把一个池扩大到非常大的数量,速率限制和行动规则阻止了它。

变化在于:工程师被叫醒的次数减少,到场时手里已有摘要和证据。仍然困难的是:代理对准确变更记录的依赖暴露了数据质量的缺口;工程师有时信任摘要多于自己的检查;安全团队要求延长并评审审计日志的保留期。负责人记录了这些,并在第二阶段的错误率经过一个季度的度量之前,暂缓第三阶段。

四种视角

产品与交付团队

暴露安全、狭窄的工具,带有清晰的权限、速率限制和日志。不要给代理对你的流水线或数据的全面访问权限。把代理纳入你的威胁建模。

服务与运维团队

拥有代理的范围,评审它的记录,并演练停止它。保持运行手册准确,因为代理依赖它们。报告错误和险情。

领导层与治理

为每项任务决定可接受的自主程度,并要求有指定的负责人和审计追踪。要求提供逐阶段试用的证据,并愿意降低自主权。不要只依赖供应商的保证。

客户与用户

你应当知道自动化代理何时对你的请求采取了行动,并有一条通向能纠正错误的真人的途径。如果一项自动化行动有误,告诉提供者。

敏捷、AI、自动化与分析

敏捷

依据证据小步扩大自主权,与干系人一起评审每一步,并保持每次发布很小。注意:快速迭代可能超过安全评审的节奏;每次提高自主权都要设一道关卡。

AI

代理是一个 AI 系统,有负责人、测试案例和监控,并且因为它会行动,需要格外小心。防范提示注入和过度信任。注意:不要依赖叮嘱模型要小心作为主要控制;依靠权限、限制和批准。见主题 5.6 — AI 治理、风险与合规。

自动化

代理连接到自动化:它们选择并触发行动。让行动本身保持确定性并经过测试,带有各自的验证,使代理的选择限于经批准的选项。注意:接受来自代理的自由格式命令的自动化,和代理一样有风险;暴露狭窄、有名称的行动。见主题 6.6 — 运行手册自动化与自动修复。

分析

度量采取的行动、批准率、推翻、评审中发现的错误、节省的时间和险情。注意:高批准率可能意味着好的提议,也可能意味着走过场;对已批准的项目抽样。见《服务管理度量》一书和主题 7.3 — 度量与报告。

常见失败模式

  • 权限过宽。 把共用的管理员账户交给了代理。使用单独的最小权限身份。
  • 没人读的批准。 频繁而含糊的请求被草率盖章。让它们少、清晰且被抽查。
  • 恶意文本操纵代理。 工单或网页中的内容发出命令。限制围绕不可信输入的工具。
  • 没有限制。 一个循环或一个错误以机器速度运行。限制行动、花费和范围。
  • 没有停止按钮。 没人能让它停下。建立并演练终止开关。
  • 没有记录。 事件无法被调查。保留完整、受保护的审计追踪。
  • 因热情而提高自主权。 在没有证据的情况下,代理得到了更多权力。分步扩大并附带度量。

成熟度模型

维度 起步 发展 标准化 管理 协同
范围与权限 宽泛或不明确 狭窄的试用 书面范围、自己的身份、最小权限 定期评审范围和权限 权限随风险调整并有批准
监督 无 非正式评审 定义了自主性等级和批准关卡 抽样并度量批准的质量 依据证据在各代理间调整监督
安全控制 无 基本日志 沙箱、限制、经过测试的终止开关 审计并演练控制措施 控制措施内建于所有代理的平台
问责 不明确 构建者拥有 指定的负责人并每周评审 负责人评审度量和事件 所有权在代理和团队之间协调

检查清单

  • 代理有书面范围和指定的负责人。
  • 它使用自己的身份和最小权限。
  • 为每项任务定义了自主性等级,有后果或不可逆的行动需要批准。
  • 批准显示将会发生什么,并抽查其质量。
  • 我们在沙箱中测试了它,包括对抗性输入。
  • 限制约束了行动、花费和范围。
  • 它的完整记录被记在它无法改动之处,并受到评审。
  • 我们有终止开关,并演练过使用它。

AI 提示词

测试代理的范围。

我们代理的书面范围是:[粘贴]。它的工具和权限:[列表]。
请列出二十个场景,有些在范围之内,有些在边缘,有些试图让代理在范围之外行动或以有害的方式使用某个工具,并针对每个说明正确的行为。不要包含真实的系统或数据。
请列出你不确定的事项。

评审行动日志。

这是一个代理行动日志的样本,已去除标识符:[粘贴]。
请列出在规模、时间或目标上看起来不寻常的行动、与已有文档的运行手册不符的行动,以及任何看起来像是代理遵循了来自不可信文本的指令的内容。引用每一处。不要说代理是否正确。
请列出你不确定的事项。

起草批准消息。

代理提议了这项行动:[描述]。它所用的证据:[列表]。如果执行会有什么变化:[描述]。如何撤销:[描述或写“不知道”]。
请为繁忙的批准者写一份不超过 100 字的清晰批准请求,说明将会发生什么、原因、风险以及如何撤销。不要建议批准。
请列出你不确定的事项。

AI 技能

  • risk-register:用于记录代理的风险、负责人和决策。
  • runbook:用于界定代理可以采取哪些行动以及何时采取。
  • security-testing:用于针对恶意输入测试代理。
  • incident-response-plan:用于规划代理行为异常时的响应。
  • mlops:用于监控代理背后的模型并管理其版本。

主要来源

  • NIST, AI Risk Management Framework:治理 AI 风险,包括自主系统风险的结构。
  • OWASP, guidance on risks for applications built on large language models (owasp.org):包括提示注入和过度代理权(excessive agency)。
  • Wikipedia, "AI agent" 和 "Prompt injection":对这一理念和一项主要安全风险的概述。
  • Wikipedia, "Principle of least privilege":限制损害的基本控制措施。

参考文献

  1. Intelligent agent — Wikipedia — https://en.wikipedia.org/wiki/Intelligent_agent
  2. AI agent — Wikipedia — https://en.wikipedia.org/wiki/AI_agent
  3. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
  4. Principle of least privilege — Wikipedia — https://en.wikipedia.org/wiki/Principle_of_least_privilege
  5. Confused deputy problem — Wikipedia — https://en.wikipedia.org/wiki/Confused_deputy_problem
  6. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  7. Sandbox (computer security) — Wikipedia — https://en.wikipedia.org/wiki/Sandbox_(computer_security)
  8. Kill switch — Wikipedia — https://en.wikipedia.org/wiki/Kill_switch
  9. Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
  10. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
  11. Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
  12. OWASP — OWASP Foundation — https://owasp.org