なぜ重要か

AIアシスタントを使う人は誰でも、多くは試行錯誤で、プロンプトを書きます。優れた結果を得ながら、その理由を言えない人もいます。曖昧、あるいは誤った答えを得て、ツールが貧弱だと判断する人もいます。違いは、モデルではなく依頼にあることが多いのです。タスクがどれだけ明確に述べられているか、アシスタントがどんな素材を持っているか、答えがどう確認されるか。

サービスマネジメントでは、仕事に利害がかかっているため、この違いが重要です。記憶からインシデントを要約するプロンプトは、作り話のタイムラインを生みえます。「ベストプラクティス」を求めるプロンプトは、正しそうに聞こえて誰の役にも立たない、一般的な文章を生みます。急いで書かれたプロンプトは、機密データを誤ったツールに貼り付けるかもしれません。これらは習慣であり、習慣は改善できます。

スキルは、この考え方をさらに一歩進めます。スキルは、ランブックを書く、ポストモーテムを実施するといった、繰り返されるタスクの指示を、タスクが現れたときにAIアシスタントが読み込めるファイルにまとめます。このガイドのスキルはClaude Codeの形式で書かれています。それぞれが、いつ使うかの短い説明と、仕事をするための指針を備えたSKILL.mdファイルです。チームはそれらをコピーし、適応させ、自分たちのものを書けます。このトピックは、このガイドのプロンプトとスキルの使い方、機能するパターン、結果の検証の仕方、チーム独自のスキルの書き方を説明します。トピック 5.1 — サービスマネジメントにおけるAIと、トピック 5.6 — AIのガバナンス、リスク、コンプライアンスの安全策を土台としています。

中核となる概念

プロンプト。 応答を得るために大規模言語モデルに与える、テキストと添付された素材です。Wikipediaは、プロンプトエンジニアリングを、生成モデルが望む出力を生むように指示を構造化するプロセスと説明しています。モデルはプロンプトの中のパターンに反応します。より明確なプロンプトは、通常より良い応答を生みます。

コンテキスト。 モデルが答えるときに考慮できるすべてのものです。あなたの指示、与えた文書、ここまでの会話。Wikipediaがコンテキストウィンドウを説明しており、それはモデルが一度に考慮できる量を制限します。何かがコンテキストにないと、モデルは一般的な知識でそのギャップを埋めることがあり、そこから誤りが忍び込みます。

グラウンディング(根拠づけ)。 情報源の素材を与え、それだけを使うようモデルに求めることです。Wikipediaは、その自動化された形である検索拡張生成を説明しています。手作業で使うなら、関連するテキストを貼り付け、「以下のテキストだけを使う」と言います。トピック 3.9 — ナレッジ管理を参照してください。

良いプロンプトの構造。 六つの部分が、ほとんどの必要をカバーします。

部分 役割 例
役割または文脈 状況を設定する 「あなたは、サービスデスクのリードがレビューを準備するのを助けています。」
タスク 何を作るかを述べる 「インシデントをタイムラインとして要約してください。」
情報源の素材 事実を提供する 貼り付けられたチケットの履歴
制約 限界を設定する 「テキストだけを使ってください。原因を推測しないでください。」
形式 出力の形を決める 「時刻、出来事、引用した情報源の表。」
不確かさのルール 確信がないときに何をするかを述べる 「『記載なし』と書き、確信のないものを列挙してください。」

プレースホルダー。 このガイドのプロンプトは、[角括弧]を使って、自分たちの素材に置き換える部分を示しています。埋められていないプレースホルダーを残したプロンプトは、結果が悪くなる一般的な原因です。送る前にひとつずつ読んでください。

例と構造。 Wikipediaが説明するフューショットプロンプティングのように、望む出力の例を一つか二つ与えると、追加の説明よりも結果を改善することがよくあります。表のような構造を求めると、確認が楽になります。

推論を求める。 Wikipediaが思考の連鎖(チェーン・オブ・ソート)のプロンプトとして説明する、モデルにステップを踏んで考えさせる技法は、一部の問題で答えを改善できます。見える推論は、答えがどう作られたかの忠実な説明であるとは限らず、誤りを含むこともあります。証明ではなく、確認の助けとして使ってください。

検証。 すべての出力を下書きとして扱います。事実を情報源と照らし、計算を確認し、引用が存在することを確認します。Wikipediaがハルシネーションと自動化バイアスを説明しており、どちらも検証する理由です。情報源を引用するようモデルに求めるプロンプトは、これを素早くします。

反復。 最初の結果が最良であることはまれです。変更を求め、誤りを指摘し、プロンプトを洗練します。うまくいったバージョンを残します。

スキル。 このガイドでは、スキルとは、ある種類のタスクをどう行うかをAIアシスタントに伝えるSKILL.mdファイルです。スキルの名前と、いつ使うかの説明を示す短いヘッダーから始まり、主要な構成要素、手順、チェックという指針が続きます。スキルに対応したアシスタントは、リクエストが説明に合うと、関連するファイルを読み込みます。スキルはプレーンテキストなので、他の文書と同じように、読み、レビューし、バージョン管理し、共有できます。Wikipediaのマークダウンの記事が、使われる形式を説明しています。

スキルとプロンプト。 プロンプトは単一の依頼のためのものであり、スキルは、毎回書き直さずに済むよう、繰り返されるタイプのタスクの方法を捉えます。スキルには、複数のプロンプト、チェックリスト、良い結果の基準が含まれることがあります。このガイドのトピックは、方法が有用なところで、スキルにリンクしています。

スキルに含めるべきもの。 良いスキルは、いつ使い、いつ使わないかを述べ、出力の主要な部分を定義し、短い手順を示し、よくある間違いを挙げ、結果の確認方法を述べます。具体的で簡潔です。すべてをカバーしようとするスキルは、ほとんど使われません。

スキルとプロンプトのテスト。 それらを成果物として扱います。既知の良い結果を持つ現実的なテストケースをいくつか作り、実行し、失敗を記録します。モデル、ツール、スキルが変わったときに再実行します。Wikipediaが回帰テスト、つまり変更の後に壊れたものを捉えるためにテストを再実行するプラクティスを説明しています。

バージョン管理とオーナーシップ。 スキルを、オーナー、変更履歴、変更のレビューとともにリポジトリに保管します。Wikipediaがバージョン管理を説明しています。レビューなしにひそかに変わるスキルは、誰も気づかないうちにチームの結果を変ええます。

セキュリティ。 プロンプトとスキルは、攻撃されたり誤用されたりしえます。貼り付ける内容に指示が含まれるリスクを、Wikipediaはプロンプトインジェクションとして説明しています。未知の情報源からダウンロードしたスキルは、アシスタントに有害なことをするよう指示するかもしれません。使う前にスキルを読み、アシスタントに必要なアクセスだけを与えてください。トピック 5.5 — エージェント型AIと人による監督を参照してください。

機密性。 何をどのツールに貼り付けてよいかを決めます。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。

レンズはどう当てはまるか。 スキルとプロンプトは、チームがAIを一貫して働かせる方法です。アジャイルのプラクティスは、利用とフィードバックで改善される共有のライブラリを保つことを示唆します。自動化は、ワークフローの中で承認済みのプロンプトを実行できます。アナリティクスは、どのプロンプトとスキルが使われ、役立っているかを示します。

ベストプラクティス

  1. 話題ではなく、タスクを述べる。 「インシデントを手伝って」より、「これらの事実から顧客向けのステータス更新を下書きして」のほうがうまくいきます。誰のために何を作ってほしいかを述べます。
  2. 情報源を与え、それに限定する。 関連する素材を貼り付け、それだけを使うよう言います。素材が語っていないところには「記載なし」と書くようアシスタントに求めます。
  3. 必要な形式を述べる。 表、番号付きリスト、語数の上限を求めます。結果を確認し、使うのが楽になります。
  4. 情報源と不確かさを求める。 引用や参照と、アシスタントが確信のないものの一覧を求めます。その一覧を読んでください。最初に確認すべき場所が分かります。
  5. 未承認のツールに秘密や保護されたデータを決して貼り付けない。 可能な限り、名前、認証情報、個人データを取り除きます。機微な素材には、組織が承認したツールを使います。
  6. 使う前に確認する。 事実、数字、時刻、名前を情報源と比べます。コードやコマンドは、まず安全な環境で実行します。
  7. 反復して、うまくいったものを残す。 数回のやり取りでプロンプトを洗練し、何のためのもので、いつ失敗するかのメモとともに最終版を保存します。
  8. チームのライブラリを共有し、レビューする。 テスト済みのプロンプトとスキルを、オーナーのいる共有の場所に保ちます。変更をレビューし、もう機能しないものは廃止します。
  9. 繰り返される仕事のためにスキルを書く。 同じプロンプトを繰り返していると気づいたら、明確な説明、手順、チェックを持つスキルに変えます。短く保ちます。
  10. 実際のケースでスキルをテストする。 いくつかのテストケースを作り、スキルやツールが変わるたびに実行し、結果を記録します。

チームで話し合うための問い

私たちは今日AIツールに何をさせていて、そのうち再利用可能なプロンプトやスキルとして書き留められるものはどれか。 例を集めます。要約、下書き、チェックリストのような、繰り返されるタスクが予想されます。さらに掘り下げるために、タスクをひとつ選び、テスト済みのバージョンを一緒に書きます。

AIの答えを使う前にどう確認していて、全員が同じやり方をしているか。 誰かが最後に誤りを見つけたのはいつかを尋ねてください。習慣の違いが予想されます。さらに掘り下げるために、タスクの種類ごとに短い検証の手順を合意します。

私たちがAIツールに貼り付けてしまった、貼り付けるべきでなかったものは何で、正しいことをどう簡単にするか。 安全な場で尋ねてください。間違いが予想されます。さらに掘り下げるために、何をどこに入れてよいかを合意し、承認済みのツールと短いガイドを提供します。

個人ではうまくいっているのに、共有されたことのないプロンプトはどれか。 人々に実演してもらいます。良いものが予想されます。さらに掘り下げるために、三つをオーナーとレビュー日を付けた共有のライブラリに集めます。

私たちが使っているスキルが明日変わったら、どうやって気づくか。 「気づかない」が予想されます。さらに掘り下げるために、スキルがバージョン管理に置かれ、レビューされ、少数のテストケースを持つことを合意します。

確認があっても、AIアシスタントに決して任せてはならないタスクはどれか。 人に影響する決定、法的な結論、承認を議論します。意見の不一致が予想されます。さらに掘り下げるために、短い一覧と、それを変更できる人を書きます。

実践:サービスマネジメントの例

ある地域の病院の、25人のITサービスチームが、AIアシスタントを使い始めました。個々のスタッフは、異なる方法で使っています。あるアナリストはチケットのメモからナレッジ記事を下書きし、別のアナリストは長いメールのスレッドを要約し、三人目はなじみのないエラーメッセージの説明を求めます。チームリードは心配しています。もっともらしいが誤ったコマンドを含む記事を見たからです。

彼女は、チームに、最も有用な三つのプロンプトを持ち寄る一時間のセッションを求めます。四人が、解決済みのチケットを記事に変えるための、ほぼ同じプロンプトを使っていると分かります。最もうまくいくバージョンは、アシスタントがチケットのテキストだけを使わなければならず、そこにないものには「[missing]」と書かなければならず、手順を番号付きの行として列挙し、確信のないものの短い一覧で終えなければならない、と述べています。「[missing]」のルールがなければ、アシスタントはギャップを埋めていました。

チームはこれをスキルファイルに変えます。いつ使うか(解決済みのチケットを記事の下書きに変える)、良い記事の主要な部分、手順、公開前に人が行わなければならないチェック(すべてのコマンドをテスト環境で実行することを含む)。解決策の分かっている古いチケット十件でテストすると、三件でアシスタントがバージョン番号を推測したことが分かります。バージョン番号についてのルールを加え、テストを再実行します。スキルをチームのリポジトリに保管し、リードの代理をオーナーに割り当て、変更をコードのようにレビューすることで合意します。

彼らはまた、AIツールに入れてはならないもの、つまり患者のデータ、認証情報、未公開のセキュリティ報告を一ページに書き、データでの訓練を禁じる契約を結んだ承認済みのツールを全員に案内します。

何が変わったか。下書きの記事は数分でできるようになり、レビューで見つかる誤った手順を持つ記事の数は減りました。何がまだ難しいか。承認済みのツールが遅いとき、一部のスタッフは今も個人アカウントを使います。スキルのライブラリは14ファイルに増え、その半分は誰もレビューしていません。アシスタントの振る舞いはベンダーの更新の後にわずかに変わり、それは誰かがテストを再実行したからこそ捉えられました。リードは、月次のテスト実行と、四半期ごとの剪定のセッションを加えました。

四つの視点

プロダクトとデリバリーのチーム

通常のレビューとパイプラインのチェックのもとで、コード、テスト、ドキュメントの下書きにプロンプトとスキルを使いましょう。自分たちのワークフローのスキルを、コードの隣のリポジトリに保管してください。

サービスと運用のチーム

更新、記事、レビューのような繰り返されるタスクのために、小さなライブラリを築きましょう。うまくいったものを共有し、すべての出力を確認し、スキルが失敗したときはオーナーに伝えてください。

リーダーシップとガバナンス

何をどこに貼り付けてよいかのルールを設け、承認済みのツールを提供し、ライブラリを築きテストする時間に資金を出しましょう。出力が確認されている証拠を求めます。プロンプトをプロセスの代わりとして扱ってはいけません。

顧客とユーザー

AIが下書きした内容に出会うかもしれません。人が確認したかを尋ね、誤っていたときは提供者に伝えましょう。どんなAIツールにも、与える個人データには注意してください。

アジャイル、AI、自動化、アナリティクス

アジャイル

実際の利用からライブラリを育てます。タスクが繰り返されたらスキルを加え、フィードバックから改善し、役立たなくなったら廃止します。スキルを短く、レビューされた状態に保ちます。注意:レビューされていない大きなライブラリは負債です。小さく、オーナーのいる状態に保ってください。

AI

スキルとプロンプトは、AIに与える指示なので、他の統制に払うのと同じ注意に値します。オーナーシップ、レビュー、テスト、利用の記録。注意:「正確であれ」という指示は、モデルを正確にはしません。与えた情報源、確認、人のレビューに頼ってください。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。

自動化

承認済みのプロンプトを、チケットがクローズされたときに要約を下書きするなど、使う前のレビューのステップを伴うワークフローに組み込めます。注意:自動化されたプロンプトは、毎回人が読むときの注意なしに動きます。さまざまな入力でテストし、人のゲートを残してください。トピック 6.2 — ワークフロー自動化とオーケストレーションを参照してください。

アナリティクス

どのプロンプトとスキルが使われ、下書きがどれくらい編集され、レビューで誤りがどれだけ見つかり、タスクごとにどれだけ時間が節約されたかを追跡します。注意:利用の数は量に報い、推定された時間の節約は容易に膨らみます。最終的な出力の質をサンプリングしてください。『サービスマネジメント指標』とトピック 7.3 — 測定とレポートを参照してください。

よくある失敗パターン

  • 曖昧な依頼。 答えが一般的になります。タスク、受け手、形式を述べましょう。
  • 情報源の素材がない。 モデルが記憶でギャップを埋めます。情報源を与え、それに限定しましょう。
  • 埋められていないプレースホルダー。 「[paste here]」が残ったままプロンプトが送られます。送る前に確認しましょう。
  • 最初の答えを信頼する。 誤りに気づかれません。情報源と照らして検証しましょう。
  • 秘密を貼り付ける。 データが漏れます。承認済みのツールを使い、機微な詳細を取り除きましょう。
  • 誰も所有しないスキルのライブラリ。 ファイルが劣化したり、気づかれずに変わったりします。オーナーとテストを伴って、バージョン管理に置きましょう。
  • 読まずにスキルをダウンロードする。 有害な指示が実行されます。使う前に読み、レビューしましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
プロンプトのプラクティス 試行錯誤 コツが非公式に共有される 情報源とチェックを伴う標準的なパターン パターンが誤りのデータから洗練される パターンがツールとワークフローに組み込まれる
スキルのライブラリ なし 個人のファイル 共有され、オーナーがいて、バージョン管理されたスキル スキルが定期的にテストされレビューされる スキルがガバナンスのもとでチームをまたいで管理される
検証 なし 個人の習慣 タスクごとの標準的な手順 誤りが追跡され、フィードバックされる 検証がツールに支えられ、人が承認する
データのルール 不明確 認識されている 明確なルールと承認済みのツール コンプライアンスが確認される 統制がツールに組み込まれる

チェックリスト

  • プロンプトが、タスク、情報源、形式、不確かさのルールを述べている。
  • 使う前に、出力を情報源と照らして確認している。
  • 何をどのツールに貼り付けてよいかのルールと、承認済みのツールがある。
  • テスト済みのプロンプトとスキルを、共有されたオーナーのいる場所に保っている。
  • スキルに、いつ使うかの明確な説明がある。
  • スキルやツールが変わるたびに、実際のケースでスキルをテストしている。
  • 外部の情報源からのスキルは、使う前にレビューしている。
  • AIに任せてはならないタスクを一覧にしている。

AIプロンプト

プロンプトを改善する。

Here is a prompt I use: [paste]. Here is an example of an output that disappointed me: [paste].
Identify what the prompt does not say that would help (task, source material, constraints, format, uncertainty rule), propose a rewritten prompt with [placeholders] for my material, and explain each change in one line. Do not add facts about my situation.
List what you are unsure of.

プロンプトをスキルに変える。

Here is a prompt that works well for my team: [paste]. Here are two examples of good outputs: [paste].
Draft a SKILL.md with a header (name and a one-sentence description of when to use it and when not), key components of a good output, a short process, common mistakes, and a checklist for verifying the result. Keep it under 400 words and do not add steps not implied by my examples.
List what you are unsure of.

スキルのテストを設計する。

Here is a skill: [paste].
Write eight test cases: five typical, two awkward, and one that tries to make the assistant ignore the skill. For each, describe the input and the correct behavior. Do not use real personal data.
List what you are unsure of.

AIスキル

主要な情報源

  • Anthropic, documentation on prompting and on Agent Skills (docs.anthropic.com): Claudeモデル向けの指示とスキルの書き方についてのベンダーの指針。
  • OWASP, guidance on risks for applications built on large language models (owasp.org): プロンプトインジェクションを含みます。
  • Wikipedia, "Prompt engineering": 技法と用語の概観。
  • This guide's skills/ directory: サービスマネジメントのタスクのためのスキルの実例。

参考文献

  1. Prompt engineering — Wikipedia — https://en.wikipedia.org/wiki/Prompt_engineering
  2. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
  3. Context window — Wikipedia — https://en.wikipedia.org/wiki/Context_window
  4. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  5. Few-shot learning — Wikipedia — https://en.wikipedia.org/wiki/Few-shot_learning
  6. Chain of thought — Wikipedia — https://en.wikipedia.org/wiki/Chain_of_thought
  7. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
  8. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  9. Regression testing — Wikipedia — https://en.wikipedia.org/wiki/Regression_testing
  10. Markdown — Wikipedia — https://en.wikipedia.org/wiki/Markdown
  11. Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
  12. OWASP — OWASP Foundation — https://owasp.org