为什么这很重要

每个使用 AI 助手的人都在写提示词,大多靠反复试错。有些人得到极好的结果,却说不出为什么。另一些人得到含糊或错误的回答,便断定这个工具很差。差别往往不在模型,而在请求:任务陈述得多清楚,助手手头有什么材料,以及它的回答如何被检查。

在服务管理中,这种差别很重要,因为工作是有风险的。凭记忆总结事件的提示词,可能产生一份编造的时间线。要求“最佳实践”的提示词,得到的是听起来对却帮不了任何人的泛泛之谈。匆忙写就的提示词,可能把机密数据粘贴进错误的工具。这些都是习惯,而习惯是可以改进的。

技能则把这个理念向前推进了一步。技能把针对反复出现的任务,比如编写运行手册或开展事后复盘的指令,打包到一个文件中,AI 助手可以在任务出现时加载它。本指南中的技能以 Claude Code 的格式编写:每个都是一个 SKILL.md 文件,包含何时使用它的简短说明和做这项工作的指导。团队可以复制它们、改编它们,也可以编写自己的技能。本主题解释如何使用本指南中的提示词和技能、行之有效的模式、如何验证结果,以及如何编写团队自己的技能。它建立在主题 5.1 — 服务管理中的 AI,以及主题 5.6 — AI 治理、风险与合规中的保障措施之上。

核心概念

提示词。 你交给大语言模型以获得响应的文本以及任何附加的材料。维基百科把提示工程(prompt engineering)描述为构造指令,使生成式模型产生期望输出的过程。模型响应提示词中的模式;更清晰的提示词通常给出更好的响应。

上下文。 模型在作答时能考虑的一切:你的指令、你提供的文档,以及到目前为止的对话。维基百科描述了上下文窗口(context window),它限制了模型一次可以考虑的量。如果某样东西不在上下文里,模型可能凭一般知识填补空白,错误就从这里渗入。

立足于来源(grounding)。 提供源材料,并要求模型只使用这些材料。维基百科描述了检索增强生成(retrieval-augmented generation),这是一种自动化的形式。对于手工使用,粘贴相关文本并说“只使用下面的文本”。见主题 3.9 — 知识管理。

好提示词的构成。 六个部分涵盖了大多数需要:

部分 作用 示例
角色或背景 设定情境 “你正在帮助服务台负责人准备一次评审。”
任务 说明要产出什么 “将事件总结为一条时间线。”
源材料 提供事实 粘贴的工单历史
约束 设定限制 “只使用该文本。不要猜测原因。”
格式 塑造输出 “一张包含时间、事件和引用来源的表格。”
不确定性规则 说明不确定时怎么办 “写‘未说明’,并列出你不确定的事项。”

占位符。 本指南中的提示词使用 [方括号] 标出要用你自己的材料替换的内容。带有未填写占位符的提示词是效果不佳的常见原因;发送前请阅读每一个。

示例与结构。 给出一两个你想要的输出的示例,称为少样本提示(few-shot prompting,维基百科有描述),往往比额外的解释更能改善结果。要求某种结构,比如表格,使检查更容易。

要求给出推理。 要求模型逐步推理的技术,维基百科称之为思维链提示(chain-of-thought prompting),可以在某些问题上改善回答。可见的推理并不总是对答案如何产生的如实叙述,它本身也可能含有错误。把它用来帮助你检查,而不是作为证明。

验证。 把每个输出都当作草稿。对照来源核对事实,核对计算,核对引文是否存在。维基百科描述了幻觉(hallucination)和自动化偏差;两者都是需要验证的理由。要求模型引用来源的提示词使之变得快速。

迭代。 第一个结果往往不是最好的。要求修改,指出错误,并改进提示词。保留有效的版本。

技能(Skill)。 在本指南中,技能是告诉 AI 助手如何做某一类任务的 SKILL.md 文件。它以一个简短的头部开始,给出技能的名称和何时使用的说明,随后是指导:关键组成部分、步骤和检查。支持技能的助手在你的请求与说明匹配时加载相关文件。技能是纯文本,所以可以像其他文档一样被阅读、评审、版本管理和共享。维基百科关于 Markdown 的文章描述了它们所使用的格式。

技能与提示词。 提示词用于单个请求;技能捕获针对反复出现的任务类型的方法,使你不必每次重写。一项技能可以包含若干提示词、一份检查清单和好结果的标准。本指南中的主题在方法有用之处链接到技能。

技能应当包含什么。 好的技能说明何时使用、何时不用,界定输出的关键部分,给出简短的流程,列出常见错误,并说明如何检查结果。它们具体而简短。试图涵盖一切的技能很少被使用。

测试技能和提示词。 把它们当作工作产物。建立几个带有已知良好结果的现实测试用例,运行它们,并记下失败。当模型、工具或技能变化时再次运行。维基百科描述了回归测试(regression testing),即在变更之后重新运行测试以发现破坏的做法。

版本控制与所有权。 把技能存放在代码仓库中,有负责人、变更日志,并对变更进行评审。维基百科描述了版本控制(version control)。一项悄悄变化而不经评审的技能,可能在没有人注意到的情况下改变团队的结果。

安全。 提示词和技能可能受到攻击或被误用。你粘贴的内容可能包含指令,维基百科把这种风险描述为提示注入(prompt injection)。从未知来源下载的技能可能让助手做有害的事。使用技能之前先阅读,并且只给助手以所需的访问权限。见主题 5.5 — 代理式 AI 与人工监督。

机密性。 决定什么可以粘贴到哪个工具中。见主题 5.6 — AI 治理、风险与合规。

这些视角如何契合。 技能和提示词是团队一致地让 AI 发挥作用的方式。敏捷实践建议保留一个通过使用和反馈而改进的共享库。自动化可以在工作流中运行经批准的提示词。分析显示哪些提示词和技能在被使用,以及它们是否有帮助。

最佳实践

  1. 陈述任务,而不是话题。 “根据这些事实为客户起草一份状态更新”比“帮我处理这起事件”效果更好。说明你想要产出什么,以及为谁而写。
  2. 提供来源并限定只用它。 粘贴相关材料,并说明只使用这些。要求助手在材料沉默之处写“未说明”。
  3. 说明你需要的格式。 要求表格、编号列表或字数限制。这使结果更易于检查和使用。
  4. 要求给出来源和不确定性。 要求引文或出处,以及助手不确定的事项清单。读一读这份清单;它显示该先检查哪里。
  5. 绝不要把机密或受保护的数据粘贴到未经批准的工具中。 尽可能去除姓名、凭据和个人数据。对敏感材料使用你们组织批准的工具。
  6. 使用前先检查。 将事实、数字、时间和姓名与来源比对。任何代码或命令都先在安全环境中运行。
  7. 迭代并保留有效的。 在几轮中改进提示词,然后保存最终版本,并注明其用途以及何时会失败。
  8. 共享并评审团队库。 把经过测试的提示词和技能放在有负责人的共享位置。评审变更,并淘汰不再有效的。
  9. 为重复的工作编写技能。 当你发现自己在重复某个提示词时,把它变成带有清晰说明、步骤和检查的技能。保持简短。
  10. 用真实案例测试技能。 建立几个测试用例,在技能或工具每次变更之后运行,并记录结果。

与团队讨论的问题

我们今天要求 AI 工具做什么?其中哪些请求我们可以写成可复用的提示词或技能? 收集例子。预期会有反复出现的任务,如摘要、草稿和检查清单。追问:选择一项任务,一起写一个经过测试的版本。

我们在使用 AI 的回答之前如何检查?每个人做法一样吗? 问问上一次有人发现错误是什么时候。预期习惯各不相同。追问:为每类任务商定一套简短的验证例程。

我们向 AI 工具粘贴过哪些不该粘贴的东西?我们如何让正确的做法变得容易? 在安全的场合询问。预期会有错误。追问:商定什么可以去哪里,并提供已批准的工具和简短的指南。

哪些提示词对个人很管用,却从未被分享? 请人们演示。预期有不错的。追问:把三个收集到共享库中,带有负责人和评审日期。

如果我们使用的某项技能明天变了,我们怎么会注意到? 预期会听到“我们不会”。追问:商定技能存放在版本控制中、经过评审,并有几个测试用例。

即使有检查,哪些任务我们也绝不应交给 AI 助手? 讨论影响人的决定、法律结论和批准。预期会有分歧。追问:写一份简短的清单,以及谁可以修改它。

实践:一个服务管理示例

一家区域医院 25 人的 IT 服务团队已开始使用 AI 助手。个别员工的使用方式各不相同。一位分析师根据工单笔记起草知识文章,另一位总结冗长的邮件往来,第三位让它解释不熟悉的错误信息。团队负责人很担心:她见过一篇包含看似合理但错误命令的文章。

她请团队带着自己最有用的三个提示词参加一小时的会议。他们发现有四个人使用几乎相同的提示词,把已解决的工单变成文章。效果最好的版本规定,助手必须只使用工单文本,对其中没有的内容必须写“[缺失]”,必须把步骤列成编号行,并且必须以一份简短的、它不确定的事项清单结尾。没有“[缺失]”这条规则,助手会填补空白。

团队把它变成一个技能文件:何时使用(把已解决的工单变成文章草稿)、好文章的关键部分、流程,以及人在发布之前必须做的检查,包括在测试环境中运行每一条命令。他们用十张解决方案已知的旧工单测试它,发现其中三张助手猜测了版本号。他们增加了一条关于版本号的规则,并重新运行测试。他们把技能存放在团队的代码仓库中,指定负责人的副手为技能负责人,并商定对变更像代码一样评审。

他们还写了一页纸,说明什么绝不能放进 AI 工具:患者数据、凭据和未发布的安全报告;并让每个人使用已批准的工具,其合同禁止用他们的数据进行训练。

变化在于:文章草稿几分钟就能完成,评审中发现步骤有误的文章数量下降。仍然困难的是:当已批准的工具很慢时,一些员工仍然使用个人账户;技能库已增长到 14 个文件,其中一半没人评审过;助手的行为在供应商更新之后略有变化,而测试能发现这一点,只是因为有人重新运行了它们。负责人增加了每月一次的测试运行和每季度一次的精简会议。

四种视角

产品与交付团队

用提示词和技能起草代码、测试和文档,并保持你们通常的评审和流水线检查。把针对你们自己工作流的技能放在代码旁边的仓库中。

服务与运维团队

为更新、文章和评审等反复出现的任务建立一个小型库。分享有效的做法,检查每一项输出,并在技能失效时告诉负责人。

领导层与治理

制定关于什么可以粘贴到哪里的规则,提供已批准的工具,并为建立和测试库留出时间经费。要求提供输出被检查的证据。不要把提示词当作流程的替代品。

客户与用户

你可能会遇到由 AI 起草的内容。问问是否有人检查过,并在它有误时告诉提供者。注意你向任何 AI 工具提供了哪些个人数据。

敏捷、AI、自动化与分析

敏捷

从真实使用中扩充库:任务重复时增加一项技能,根据反馈改进它,在不再有帮助时淘汰它。保持技能简短并经评审。注意:庞大而未经评审的库是一种负担;保持小而有人负责。

AI

技能和提示词就是我们给 AI 的指令,所以它们值得我们给予其他控制措施的那种对待:所有权、评审、测试和使用记录。注意:要求“请准确”并不能使模型变得准确;依靠所提供的来源、检查和人工审查。见主题 5.1 — 服务管理中的 AI。

自动化

经批准的提示词可以嵌入工作流,例如在工单关闭时起草一份摘要,并在使用前设评审步骤。注意:自动化的提示词在运行时缺少每次有人阅读的那份谨慎;用各种不同的输入测试它们,并保留一道人工关卡。见主题 6.2 — 工作流自动化与编排。

分析

跟踪哪些提示词和技能在被使用、草稿被编辑的频率、评审中发现的错误,以及按任务划分的节省时间。注意:使用次数会奖励数量,估算的节省时间很容易被夸大;抽查最终输出的质量。见《服务管理度量》一书和主题 7.3 — 度量与报告。

常见失败模式

  • 含糊的请求。 答案很泛泛。说明任务、受众和格式。
  • 没有源材料。 模型凭记忆填补空白。提供并限定只用来源。
  • 未填写的占位符。 提示词带着“[在此粘贴]”发了出去。发送前检查。
  • 相信第一个答案。 错误未被察觉。对照来源验证。
  • 粘贴机密。 数据泄露。使用已批准的工具并去除敏感细节。
  • 没人拥有的技能库。 文件衰败或在无人察觉中改变。把它们放在版本控制中,并有负责人和测试。
  • 不读就下载技能。 有害的指令被执行。使用之前先阅读和评审。

成熟度模型

维度 起步 发展 标准化 管理 协同
提示实践 反复试错 非正式地分享技巧 带来源和检查的标准模式 根据错误数据改进模式 模式嵌入工具和工作流
技能库 无 个人文件 共享的、有负责人且有版本控制的技能 定期测试和评审技能 技能在治理下跨团队管理
验证 无 个人习惯 按任务的标准例程 跟踪错误并反馈 验证由工具支持,并由人签核
数据规则 不清楚 有意识 清晰的规则和已批准的工具 检查合规情况 控制措施内建于工具

检查清单

  • 我们的提示词陈述了任务、来源、格式和不确定性规则。
  • 我们在使用之前对照来源检查输出。
  • 我们对什么可以粘贴到哪些工具有规则,并有已批准的工具。
  • 我们把经过测试的提示词和技能保存在有负责人的共享位置。
  • 技能对何时使用有清晰的说明。
  • 在技能或工具每次变更之后,我们用真实案例测试技能。
  • 我们在使用来自外部的技能之前先评审它们。
  • 我们列出了绝不能交给 AI 的任务。

AI 提示词

改进一个提示词。

这是我使用的一个提示词:[粘贴]。这是一个让我失望的输出的例子:[粘贴]。
请指出这个提示词没有说明的、本来有帮助的内容(任务、源材料、约束、格式、不确定性规则),提出一个用 [占位符] 代表我的材料的改写版提示词,并用一行解释每一处改动。不要添加关于我的情况的事实。
请列出你不确定的事项。

把提示词变成技能。

这是一个对我的团队很管用的提示词:[粘贴]。这是两个好输出的例子:[粘贴]。
请起草一份 SKILL.md,包含头部(名称,以及一句话说明何时使用和何时不用)、好输出的关键组成部分、简短的流程、常见错误,以及验证结果的检查清单。控制在 400 字以内,不要添加我的例子中没有暗示的步骤。
请列出你不确定的事项。

为技能设计测试。

这是一项技能:[粘贴]。
请写出八个测试用例:五个典型的、两个刁钻的,以及一个试图让助手无视该技能的。对每一个,描述输入和正确的行为。不要使用真实的个人数据。
请列出你不确定的事项。

AI 技能

主要来源

  • Anthropic, documentation on prompting and on Agent Skills (docs.anthropic.com):供应商关于为 Claude 模型编写指令和技能的指南。
  • OWASP, guidance on risks for applications built on large language models (owasp.org):包括提示注入。
  • Wikipedia, "Prompt engineering":对技术和术语的概述。
  • 本指南的 skills/ 目录:针对服务管理任务的技能的实例。

参考文献

  1. Prompt engineering — Wikipedia — https://en.wikipedia.org/wiki/Prompt_engineering
  2. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
  3. Context window — Wikipedia — https://en.wikipedia.org/wiki/Context_window
  4. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  5. Few-shot learning — Wikipedia — https://en.wikipedia.org/wiki/Few-shot_learning
  6. Chain of thought — Wikipedia — https://en.wikipedia.org/wiki/Chain_of_thought
  7. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
  8. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  9. Regression testing — Wikipedia — https://en.wikipedia.org/wiki/Regression_testing
  10. Markdown — Wikipedia — https://en.wikipedia.org/wiki/Markdown
  11. Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
  12. OWASP — OWASP Foundation — https://owasp.org