ИИ-навыки и промпты
Промпт (запрос) — это просьба, которую вы даёте системе ИИ, а навык — повторно используемый версионируемый набор инструкций для одного вида задач; оба работают лучше всего, когда называют задачу, предоставляют исходный материал, говорят, что делать при нехватке информации, и проверяются, как любой другой рабочий продукт.
Почему это важно
Каждый, кто пользуется ИИ-помощником, пишет запросы, в основном методом проб и ошибок. Одни получают отличные результаты и не могут сказать почему. Другие получают расплывчатые или неверные ответы и решают, что инструмент плох. Разница часто не в модели, а в просьбе: насколько ясно сформулирована задача, какой материал есть у помощника и как проверяется его ответ.
В управлении услугами эта разница важна, потому что работа имеет ставки. Запрос, резюмирующий инцидент по памяти, может дать выдуманную хронологию. Запрос, просящий «лучшие практики», даёт общий текст, который звучит верно и никому не помогает. Запрос, написанный в спешке, может вставить конфиденциальные данные не в тот инструмент. Это привычки, а привычки можно улучшить.
Навыки идут на шаг дальше. Навык упаковывает инструкции для повторяющейся задачи, например написания руководства по эксплуатации или проведения разбора, в файл, который ИИ-помощник может загрузить, когда задача возникает. Навыки в этом руководстве написаны в формате Claude Code: каждый — файл SKILL.md с кратким описанием, когда его использовать, и указаниями для выполнения работы. Команды могут копировать их, адаптировать и писать собственные. Эта тема объясняет, как использовать запросы и навыки этого руководства, какие шаблоны работают, как проверять результаты и как писать собственные навыки команды. Она опирается на тему 5.1 — ИИ в управлении услугами и защитные меры темы 5.6 — Управление ИИ, риски и соответствие.
Основные понятия
Промпт (запрос). Текст и любой приложенный материал, который вы даёте большой языковой модели для получения ответа. Wikipedia описывает инженерию запросов как процесс структурирования инструкций так, чтобы порождающая модель выдавала желаемый выход. Модель реагирует на шаблоны в запросе; более ясные запросы обычно дают лучшие ответы.
Контекст. Всё, что модель может учитывать, отвечая: ваши инструкции, предоставленные вами документы и разговор до этого момента. Контекстное окно, ограничивающее, сколько модель может учитывать сразу, описывает Wikipedia. Если чего-то нет в контексте, модель может заполнить пробел общими знаниями, и именно здесь прокрадываются ошибки.
Обоснование (grounding). Предоставление исходного материала и просьба использовать только его. Генерацию с дополнением извлечением, автоматизированную форму, описывает Wikipedia. При ручном использовании вставьте нужный текст и скажите «используй только текст ниже». См. тему 3.9 — Управление знаниями.
Анатомия хорошего запроса. Шесть частей покрывают большинство нужд:
| Часть | Что делает | Пример |
|---|---|---|
| Роль или контекст | Задаёт ситуацию | «Вы помогаете руководителю service desk подготовить разбор». |
| Задача | Говорит, что произвести | «Резюмируй инцидент как хронологию». |
| Исходный материал | Предоставляет факты | Вставленная история обращения |
| Ограничения | Задают пределы | «Используй только текст. Не угадывай причины». |
| Формат | Придаёт форму выходу | «Таблица со временем, событием и цитируемым источником». |
| Правило неопределённости | Говорит, что делать при сомнении | «Пиши „не указано“ и перечисли, в чём не уверен». |
Заполнители. Запросы в этом руководстве используют [квадратные скобки], чтобы отметить то, что нужно заменить вашим материалом. Запрос с незаполненным заполнителем — частая причина плохих результатов; прочитайте каждый перед отправкой.
Примеры и структура. Один-два примера желаемого выхода, известные как few-shot prompting и описанные в Wikipedia, часто улучшают результат сильнее дополнительных объяснений. Просьба о структуре, например таблице, облегчает проверку.
Просьба о рассуждении. Приёмы, просящие модель пройти шаги, описанные в Wikipedia как запросы с цепочкой рассуждений (chain-of-thought), могут улучшать ответы в некоторых задачах. Видимое рассуждение не всегда точный отчёт о том, как получен ответ, и тоже может содержать ошибки. Используйте его, чтобы помочь себе проверить, а не как доказательство.
Проверка. Считайте каждый выход черновиком. Сверяйте факты с источником, проверяйте расчёты и убеждайтесь, что цитаты существуют. Галлюцинации и предвзятость автоматизации описывает Wikipedia; оба — причины проверять. Запрос, просящий модель цитировать источники, делает это быстрым.
Итерация. Первый результат часто не лучший. Просите изменений, указывайте на ошибки и уточняйте запрос. Сохраняйте версию, которая сработала.
Навык. В этом руководстве навык — файл SKILL.md, говорящий ИИ-помощнику, как выполнять вид задачи. Он начинается с краткого заголовка с названием навыка и описанием, когда его использовать, за которым следуют указания: ключевые компоненты, шаги и проверки. Помощник, поддерживающий навыки, загружает нужный файл, когда ваш запрос соответствует описанию. Навыки — простой текст, поэтому их можно читать, рассматривать, версионировать и делиться ими, как другими документами. Формат, который они используют, описывает статья Wikipedia о Markdown.
Навыки и запросы. Запрос — для одной просьбы; навык фиксирует метод для повторяющегося вида задач, чтобы не переписывать его каждый раз. Навык может содержать несколько запросов, контрольный список и критерии хорошего результата. Темы этого руководства ссылаются на навыки там, где метод полезен.
Что должны содержать навыки. Хорошие навыки указывают, когда их использовать и когда нет, определяют ключевые части выхода, дают краткий процесс, перечисляют частые ошибки и говорят, как проверить результат. Они конкретны и кратки. Навык, пытающийся охватить всё, редко используется.
Тестирование навыков и запросов. Относитесь к ним как к рабочим продуктам. Составьте несколько реалистичных тестовых случаев с известными хорошими результатами, запустите их и отметьте сбои. Запускайте снова, когда меняется модель, инструмент или навык. Регрессионное тестирование — практику повторного запуска тестов после изменений для обнаружения поломок — описывает Wikipedia.
Контроль версий и владение. Храните навыки в репозитории, с владельцем, журналом изменений и рассмотрением изменений. Контроль версий описывает Wikipedia. Навык, тихо изменившийся без проверки, может изменить результаты команды, никто этого не заметив.
Безопасность. Запросы и навыки могут быть атакованы или использованы неправильно. Вставляемое вами содержимое может содержать инструкции — риск, который Wikipedia описывает как внедрение запросов. Навык, скачанный из неизвестного источника, может велеть помощнику сделать что-то вредное. Читайте навыки перед использованием и давайте помощникам только нужный доступ. См. тему 5.5 — Агентный ИИ и человеческий надзор.
Конфиденциальность. Решите, что можно вставлять в какой инструмент. См. тему 5.6 — Управление ИИ, риски и соответствие.
Как вписываются линзы. Навыки и запросы — способ, которым команды последовательно применяют ИИ. Гибкая практика предлагает вести общую библиотеку, улучшающуюся через использование и обратную связь. Автоматизация может запускать одобренные запросы в рабочих потоках. Аналитика показывает, какие запросы и навыки используются и помогают ли они.
Лучшие практики
- Называйте задачу, а не тему. «Подготовь обновление статуса для клиентов по этим фактам» работает лучше, чем «помоги с инцидентом». Скажите, что вы хотите получить и для кого.
- Предоставляйте источник и ограничивайте им. Вставьте нужный материал и скажите использовать только его. Попросите помощника писать «не указано», где материал молчит.
- Говорите, какой формат нужен. Просите таблицу, нумерованный список или предел слов. Это облегчает проверку и использование результата.
- Просите источники и неопределённость. Запрашивайте цитаты или ссылки и список того, в чём помощник не уверен. Читайте этот список; он показывает, где проверять в первую очередь.
- Никогда не вставляйте секреты или защищённые данные в неодобренные инструменты. Удаляйте имена, учётные данные и персональные данные, где можете. Используйте инструменты, одобренные вашей организацией для чувствительного материала.
- Проверяйте перед использованием. Сверяйте факты, числа, время и имена с источником. Любой код или команды сначала запускайте в безопасной среде.
- Итерируйте и сохраняйте то, что работает. Уточняйте запрос в нескольких раундах, затем сохраните окончательную версию с заметкой, для чего она и когда не срабатывает.
- Делитесь и пересматривайте библиотеку команды. Храните проверенные запросы и навыки в общем месте с владельцами. Рассматривайте изменения и выводите те, что больше не работают.
- Пишите навыки для повторяющейся работы. Когда вы повторяете запрос, превратите его в навык с чётким описанием, шагами и проверками. Держите его коротким.
- Тестируйте навыки на реальных случаях. Составьте несколько тестовых случаев, запускайте их после каждого изменения навыка или инструмента и записывайте результаты.
Вопросы для обсуждения с командой
О чём мы сегодня просим инструменты ИИ и какие из этих просьб мы могли бы записать как повторно используемый запрос или навык? Соберите примеры. Ожидайте повторяющихся задач, таких как резюме, черновики и контрольные списки. В продолжение выберите одну задачу и вместе напишите проверенную версию.
Как мы проверяем ответ ИИ, прежде чем использовать, и одинаково ли это делают все? Спросите, когда в последний раз кто-то находил ошибку. Ожидайте разных привычек. В продолжение договоритесь о коротком порядке проверки для каждого типа задач.
Что мы вставляли в инструменты ИИ, чего не следовало, и как сделать правильное лёгким? Спросите в безопасной обстановке. Ожидайте ошибок. В продолжение договоритесь, что и куда можно, и предоставьте одобренный инструмент и короткое руководство.
Какие запросы хорошо работали у отдельных людей, но никогда не распространялись? Попросите людей продемонстрировать. Ожидайте хороших. В продолжение соберите три в общую библиотеку, с владельцем и датой пересмотра.
Если бы навык, которым мы пользуемся, изменился завтра, как бы мы заметили? Ожидайте «не заметили бы». В продолжение договоритесь, что навыки живут в системе контроля версий, рассматриваются и имеют несколько тестовых случаев.
Какие задачи мы никогда не должны передавать ИИ-помощнику, даже с проверкой? Обсудите решения, влияющие на людей, юридические выводы и согласования. Ожидайте разногласий. В продолжение напишите короткий список и кто может его менять.
На практике: пример управления услугами
Сервисная ИТ-команда региональной больницы из 25 человек начала пользоваться ИИ-помощником. Отдельные сотрудники используют его по-разному. Один аналитик составляет статьи базы знаний по заметкам обращений, другой резюмирует длинные цепочки писем, а третий просит объяснить незнакомые сообщения об ошибках. Руководитель команды обеспокоена: она видела статью с правдоподобной, но неверной командой.
Она просит команду принести три самых полезных запроса на часовую сессию. Выясняется, что четверо используют почти один и тот же запрос для превращения решённого обращения в статью. Лучше всего работает версия, в которой сказано, что помощник должен использовать только текст обращения, писать «[отсутствует]» для всего, чего в нём нет, оформлять шаги нумерованными строками и заканчивать коротким списком того, в чём он не уверен. Без правила «[отсутствует]» помощник заполнял пробелы.
Команда превращает это в файл навыка: когда его использовать (превращение решённого обращения в черновик статьи), ключевые части хорошей статьи, процесс и проверки, которые человек должен выполнить перед публикацией, включая запуск каждой команды в тестовой среде. Они проверяют его на десяти старых обращениях с известными решениями и обнаруживают, что в трёх помощник угадал номер версии. Они добавляют правило о номерах версий и перезапускают тесты. Они хранят навык в репозитории команды, назначают владельцем заместителя руководителя и договариваются, что изменения рассматриваются как код.
Они также пишут одну страницу о том, что нельзя вводить в инструменты ИИ: данные пациентов, учётные данные и неопубликованные отчёты по безопасности; и указывают всем на одобренный инструмент, договор которого запрещает обучение на их данных.
Что изменилось: черновики статей занимают минуты, а число статей с неверными шагами, найденных при проверке, падает. Что остаётся трудным: некоторые сотрудники по-прежнему используют личные учётные записи, когда одобренный инструмент медленный; библиотека навыков выросла до 14 файлов, и половину никто не пересматривал; а поведение помощника слегка сместилось после обновления вендора, что тесты поймали только потому, что кто-то перезапустил их. Руководитель вводит ежемесячный прогон тестов и ежеквартальную сессию чистки.
Четыре перспективы
Команды продукта и поставки
Используйте запросы и навыки для составления кода, тестов и документации с обычной проверкой и проверками конвейера. Храните навыки для собственных рабочих потоков в репозитории рядом с кодом.
Команды услуг и эксплуатации
Стройте небольшую библиотеку для повторяющихся задач, таких как обновления, статьи и разборы. Делитесь тем, что работает, проверяйте каждый выход и сообщайте владельцу, когда навык не срабатывает.
Руководство и управление
Задавайте правила, что и куда можно вставлять, предоставляйте одобренные инструменты и финансируйте время на создание и тестирование библиотеки. Просите свидетельства, что выходы проверяются. Не считайте запросы заменой процесса.
Клиенты и пользователи
Вам может встретиться содержимое, составленное ИИ. Спросите, проверил ли его человек, и сообщите поставщику, когда оно неверно. Будьте осторожны с персональными данными, которые вы даёте любому инструменту ИИ.
Agile, ИИ, автоматизация и аналитика
Agile
Выращивайте библиотеку из реального использования: добавляйте навык, когда задача повторяется, улучшайте по обратной связи и выводите, когда он перестаёт помогать. Держите навыки короткими и рассмотренными. Предостережение: большая непросмотренная библиотека — обязательство; держите её небольшой и с владельцами.
ИИ
Навыки и запросы — инструкции, которые мы даём ИИ, поэтому они заслуживают той же заботы, что и другие меры контроля: владения, рассмотрения, тестов и записей использования. Предостережение: инструкции «будь точен» не делают модель точной; опирайтесь на предоставленные источники, проверки и человеческое рассмотрение. См. тему 5.1 — ИИ в управлении услугами.
Автоматизация
Одобренные запросы можно встраивать в рабочие потоки, например составление резюме при закрытии обращения, с шагом проверки перед использованием. Предостережение: автоматические запросы выполняются без внимания человека, читающего каждый раз; проверяйте их на разнообразных входах и сохраняйте человеческую контрольную точку. См. тему 6.2 — Автоматизация рабочих процессов и оркестрация.
Аналитика
Отслеживайте, какие запросы и навыки используются, как часто черновики правятся, какие ошибки найдены при проверке и сколько времени сэкономлено по задачам. Предостережение: подсчёт использования поощряет объём, а оценки сэкономленного времени легко завысить; проверяйте качество итоговых выходов выборкой. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.
Типичные виды сбоев
- Расплывчатые просьбы. Ответ общий. Назовите задачу, аудиторию и формат.
- Нет исходного материала. Модель заполняет пробелы по памяти. Предоставляйте и ограничивайте источником.
- Незаполненные заполнители. Запрос уходит с «[вставьте сюда]». Проверяйте перед отправкой.
- Доверие первому ответу. Ошибки остаются незамеченными. Сверяйте с источником.
- Вставка секретов. Данные утекают. Используйте одобренные инструменты и убирайте чувствительные детали.
- Библиотека навыков без владельца. Файлы разрушаются или меняются незаметно. Держите их в системе контроля версий с владельцами и тестами.
- Скачивание навыков непрочитанными. Выполняется вредная инструкция. Читайте и рассматривайте перед использованием.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Практика запросов | Пробы и ошибки | Советы распространяются неформально | Стандартные шаблоны с источниками и проверками | Шаблоны уточняются по данным об ошибках | Шаблоны встроены в инструменты и рабочие потоки |
| Библиотека навыков | Нет | Личные файлы | Общие навыки с владельцами в системе контроля версий | Навыки регулярно тестируются и рассматриваются | Навыками управляют по командам под управлением |
| Проверка | Нет | Индивидуальные привычки | Стандартные порядки по задачам | Ошибки отслеживаются и возвращаются | Проверка поддерживается инструментами с подписью человека |
| Правила о данных | Неясны | Осведомлённость | Чёткие правила и одобренные инструменты | Соблюдение проверяется | Меры контроля встроены в инструменты |
Контрольный список
- Наши запросы указывают задачу, источник, формат и правило неопределённости.
- Мы сверяем выходы с источником перед использованием.
- У нас есть правила, что можно вставлять в какие инструменты, и одобренные инструменты.
- Мы храним проверенные запросы и навыки в общем месте с владельцами.
- У навыков есть чёткое описание, когда их использовать.
- Мы тестируем навыки на реальных случаях после каждого изменения навыка или инструмента.
- Мы просматриваем навыки из внешних источников перед использованием.
- Мы ведём список задач, которые нельзя передавать ИИ.
Запросы к ИИ
Улучшите запрос.
Here is a prompt I use: [paste]. Here is an example of an output that disappointed me: [paste].
Identify what the prompt does not say that would help (task, source material, constraints, format, uncertainty rule), propose a rewritten prompt with [placeholders] for my material, and explain each change in one line. Do not add facts about my situation.
List what you are unsure of.
Превратите запрос в навык.
Here is a prompt that works well for my team: [paste]. Here are two examples of good outputs: [paste].
Draft a SKILL.md with a header (name and a one-sentence description of when to use it and when not), key components of a good output, a short process, common mistakes, and a checklist for verifying the result. Keep it under 400 words and do not add steps not implied by my examples.
List what you are unsure of.
Разработайте тесты для навыка.
Here is a skill: [paste].
Write eight test cases: five typical, two awkward, and one that tries to make the assistant ignore the skill. For each, describe the input and the correct behavior. Do not use real personal data.
List what you are unsure of.
ИИ-навыки
- prompt-engineering: используйте, чтобы проектировать, проверять и уточнять запросы.
- service-management-guide-skill: используйте, чтобы находить и применять темы, вопросы и запросы этого руководства.
- service-management-guide-maintainer-skill: используйте, чтобы сопровождать темы и навыки этого руководства.
- runbook: используйте как пример хорошо структурированного навыка для эксплуатационной работы.
Ключевые источники
- Anthropic, документация по составлению запросов и по Agent Skills (docs.anthropic.com): рекомендации вендора по написанию инструкций и навыков для моделей Claude.
- OWASP, рекомендации по рискам приложений на основе больших языковых моделей (owasp.org): включая внедрение запросов.
- Wikipedia, "Prompt engineering": обзор приёмов и терминов.
- Каталог
skills/этого руководства: разобранные примеры навыков для задач управления услугами.
Источники
- Prompt engineering — Wikipedia — https://en.wikipedia.org/wiki/Prompt_engineering
- Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
- Context window — Wikipedia — https://en.wikipedia.org/wiki/Context_window
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Few-shot learning — Wikipedia — https://en.wikipedia.org/wiki/Few-shot_learning
- Chain of thought — Wikipedia — https://en.wikipedia.org/wiki/Chain_of_thought
- Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
- Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
- Regression testing — Wikipedia — https://en.wikipedia.org/wiki/Regression_testing
- Markdown — Wikipedia — https://en.wikipedia.org/wiki/Markdown
- Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
- OWASP — OWASP Foundation — https://owasp.org