Почему это важно

Значительная часть работы по эксплуатации услуг — письмо и чтение. Во время инцидента кто-то пишет обновления статуса, пока другие читают журналы чата. После него кто-то пишет хронологию и разбор. Статья базы знаний начинается как заметка о решении обращения, которую нужно превратить во что-то читаемое. Запросу на изменение нужны описание, оценка риска и план. Эти задачи отнимают время, повторяются и часто выполняются поздно и плохо, потому что все заняты.

Генеративный ИИ хорошо подходит для такой работы. Большие языковые модели могут прочитать длинную переписку и выдать резюме за секунды. Они могут превратить черновые заметки в чистый черновик и предложить структуру для разбора. При хорошем использовании они освобождают квалифицированных людей для суждения и разговора. При плохом — порождают уверенный гладкий текст, который неверен: хронологию с выдуманными временами, первопричину, которую никто не находил, шаг руководства, которого не существует.

Разница — в том, как организована работа. Дайте модели настоящую запись, попросите использовать только её, пусть показывает источники, а человек проверяет, прежде чем что-либо будет передано. Эта тема даёт практические шаблоны для трёх областей: инциденты, знания и изменения. Она опирается на общие идеи темы 5.1 — ИИ в управлении услугами и связана с управлением инцидентами (тема 3.2 — Управление инцидентами), управлением проблемами (тема 3.3 — Управление проблемами), управлением знаниями (тема 3.9 — Управление знаниями) и обеспечением изменений (тема 3.4 — Обеспечение изменений). Вопросы управления — в теме 5.6 — Управление ИИ, риски и соответствие.

Основные понятия

Генеративный ИИ. Системы, порождающие новое содержимое, такое как текст и код, по запросам. Генеративный ИИ и большие языковые модели описывает Wikipedia. Для сервисной работы главный выход — текст: резюме, черновики, объяснения и структурированные заметки.

Галлюцинация. Выход, гладкий и необоснованный или ложный. Галлюцинации в ИИ описывает Wikipedia. Это свойство того, как работают эти модели, а не редкая ошибка. Риск самый высокий, когда у модели просят факты, которые ей не давали: точное время, причину, номер политики, параметр API.

Обоснование (grounding). Предоставление модели исходного материала и просьба отвечать только по нему. Генерация с дополнением извлечением, описанная в Wikipedia, находит соответствующие документы и поставляет их. Для инцидентов источник — хронология, чат и данные мониторинга; для знаний — обращение и существующие статьи; для изменений — запись об изменении и прошлые похожие изменения. Обоснование снижает ошибки, но не устраняет их.

Контекстное окно. Объём текста, который модель может учитывать сразу. Контекстное окно описывает Wikipedia. Длинные чаты инцидентов могут его превышать, поэтому длинные входы резюмируют по частям. Проверяйте, не отброшен ли важный материал.

Резюмирование. Сведение длинного текста к главным пунктам. Автоматическое резюмирование описывает Wikipedia. Резюме по замыслу теряют детали и могут их искажать. Лучше всего использовать их как путеводитель по оригиналу, с возможностью проверки.

Черновики, а не решения. Самое безопасное применение — выдавать первый черновик, который человек правит и за который отвечает. Имя человека стоит на результате, и он за него подотчётен. Это сохраняет суждение за людьми и использует модель для механической части.

Запрос и инструкция. Текст, даваемый модели. Чёткие инструкции — с ролью, задачей, источниками, форматом и тем, что делать при недостатке информации — улучшают результаты. См. тему 5.7 — ИИ-навыки и промпты.

Конфиденциальность. Чаты инцидентов и обращения часто содержат секреты, персональные данные и сведения о безопасности. Важно, куда идёт текст: на модель, размещённую вашей организацией, на услугу вендора по договору или на публичный инструмент с неизвестными условиями. Решите, что куда можно. См. тему 5.6 — Управление ИИ, риски и соответствие.

Внедрение запросов (prompt injection). Текст в материале, который вы даёте модели, например тело обращения или строка журнала, может содержать инструкции, пытающиеся изменить её поведение. Внедрение запросов описывает Wikipedia. Считайте все входы недоверенными и не позволяйте модели с полномочиями действовать читать содержимое из неизвестных источников.

Предвзятость автоматизации. Склонность доверять автоматическим предложениям, особенно когда устали или заняты. Предвзятость автоматизации описывает Wikipedia. Во время инцидента гладкое предложение может направить исполнителей по неверному пути. Относитесь к выходу ИИ как к гипотезе.

Инциденты. Полезные задачи включают резюмирование переписки для нового исполнителя, составление черновика обновления статуса для проверки, извлечение хронологии событий с метками времени из записи, поиск похожих прошлых инцидентов и предложение вопросов для разбора. Рискованные задачи включают объявление первопричины фактом и отправку обновления клиентам без проверки.

Знания. Полезные задачи включают превращение решённого обращения в черновик статьи, переписывание статьи простым языком, предложение заголовков и тегов и поиск дубликатов. Рискованные задачи включают публикацию черновиков без технической проверки и опору на модель в знании правильного исправления.

Изменения. Полезные задачи включают проверку описания изменения на недостающую информацию, резюмирование большого запроса на слияние, предложение тестовых случаев и перечисление факторов риска по похожим прошлым изменениям. Рискованные задачи включают одобрение изменения или оценку его риска как «низкий» на слово модели.

Код и скрипты. Модели могут составлять скрипты, запросы и конфигурацию. Генерацию кода в более широком смысле описывает Wikipedia. Сгенерированный код может содержать ошибки, недостатки безопасности или вопросы лицензирования. Относитесь к нему как к недоверенному коду: проверяйте, тестируйте и пропускайте через конвейер. См. тему 3.4 — Обеспечение изменений и тему 4.2 — Управление программными активами.

Записи и аудит. Ведите запись того, как использовался ИИ: запрос, данные источники, выход, кто проверял и что изменилось. Журнал аудита описывает Wikipedia. Это поддерживает обучение и подотчётность.

Как вписываются линзы. Генеративный ИИ — одна из самых заметных форм линзы ИИ. Гибкая практика предлагает короткие пилоты с обратной связью от тех, кто выполняет работу. Автоматизация может направлять черновики в инструменты с контрольными точками проверки. Аналитика показывает, какие применения экономят время, а какие вызывают переделки.

Лучшие практики

  1. Дайте запись и скажите использовать только её. Вставьте или извлеките настоящую хронологию, обращение или изменение и поручите модели использовать только предоставленный текст. Скажите писать «не указано», когда информации нет.
  2. Просите цитаты и ссылки. Пусть модель ссылается на строки или статьи, которые использовала, чтобы человек мог быстро проверить каждое утверждение.
  3. Разделяйте факты и выводы. Сначала просите факты из записи, затем ясно помеченные гипотезы. Не допускайте, чтобы гипотезы выглядели находками.
  4. Сохраняйте человека-владельца. Человек, отправляющий обновление, публикующий статью или одобряющий изменение, владеет содержимым, что бы ни подготовила модель. Сделайте это явным в процессе.
  5. Не отправляйте непроверенный выход наружу. Обновления статуса для клиентов, регуляторов или публики требуют проверки и одобрения человеком. Внутренние черновики менее рискованны, но тоже требуют проверки.
  6. Защищайте данные. Используйте инструменты, одобренные для чувствительности содержимого. Удаляйте секреты и персональные данные, где можете, и никогда не вставляйте учётные данные.
  7. Проверяйте числа, имена и время. Именно здесь чаще всего проявляется выдумка. Сверяйте каждую цифру в черновике с источником.
  8. Тестируйте на реальных случаях. Прогоните подход на прошлых инцидентах и обращениях, где вы знаете истину, и отметьте, где он терпит неудачу. Делитесь находками и обновляйте инструкции.
  9. Журналируйте использование. Записывайте, что ИИ помогал, с источниками и проверяющим. Отслеживайте исправления, чтобы узнать, какие задачи ему подходят.
  10. Пересматривайте и прекращайте. Рассматривайте, какие применения экономят время, а какие вызывают переделки. Прекращайте те, что не помогают.

Вопросы для обсуждения с командой

Какие задачи письма и чтения в нашей работе над инцидентами и изменениями отнимают больше всего времени и какие малорисковы? Составьте список. Ожидайте хронологии, обновления статуса, черновики разборов и описания изменений. Отсортируйте по риску. В продолжение выберите одну малорисковую задачу для пробы с ИИ.

Что нам нужно проверить в резюме инцидента, написанном ИИ, прежде чем ему поверить? Подумайте о времени, причинах и влиянии. Ожидайте согласия, что время и причины требуют проверки. В продолжение напишите короткий контрольный список.

Какая информация не должна попадать в инструмент ИИ никогда и как сделать это правило простым для соблюдения? Перечислите секреты, персональные данные и сведения о безопасности. Ожидайте путаницы в том, что считается. В продолжение договоритесь о простом правиле и безопасном инструменте для остального.

Как мы узнали бы, что резюме или черновики ИИ ухудшают нашу базу знаний? Подумайте о неверных шагах и повторяющихся ошибках. Ожидайте «не узнали бы». В продолжение ежемесячно проверяйте выборку статей, написанных с помощью ИИ, на точность.

Когда мы позволили бы ИИ предлагать риск изменения и кто решает? Обсудите. Ожидайте осторожности насчёт одобрения и спокойствия насчёт подсказок о недостающей информации. В продолжение договоритесь, что ИИ может предлагать вопросы и похожие прошлые изменения, а риск оценивает человек.

Кто в нашей команде хорошо проверяет выход ИИ и как распространить этот навык? Проверка — навык. Ожидайте нескольких уверенных людей. В продолжение проведите короткое упражнение, на котором команда вместе проверяет ошибочный черновик.

На практике: пример управления услугами

Команда эксплуатационных технологий национальной железной дороги поддерживает системы сигнализации. После каждого крупного инцидента инженер тратит полдня на написание разбора по журналам чата, графикам мониторинга и заметкам обращений. Разборы запаздывают, а недавние были бедны содержанием.

Руководитель команды испытывает генеративного ИИ-помощника, размещённого по договору железной дороги с вендором, который не хранит входные данные и не обучается на них, для первого черновика разборов. По каждому инциденту инженер экспортирует журнал чата и историю обращения, убирает имена сотрудников и даёт помощнику такие инструкции: использовать только предоставленный текст; составить хронологию, где каждая запись цитирует строку источника; перечислить влияние, как указано; перечислить, что помогло и что замедлило отклик; отметить всё, чего нет в тексте, как «не указано»; и поместить гипотезы в отдельный раздел с соответствующей пометкой.

При первом тесте на прошлом инциденте хронология черновика верна, кроме того, что в ней время перезапуска 02:15, тогда как в чате сказано «около четверти третьего, кажется», а в обращении — 02:22; инженер исправляет. Черновик также называет причиной «неисправный сетевой коммутатор», который в чате фигурирует как догадка, позднее опровергнутая; разбор переместил его в гипотезы, как велено, но не отметил опровержение. Инженер исправляет оба момента и отправляет черновик команде за два часа вместо четырёх.

После десяти инцидентов команда оценивает, что первые черновики занимают примерно треть прежнего времени. Они добавляют правило, что инженер каждый раз сверяет каждое время и причину с источником и что в разборах записывается, что первую версию составил ИИ. Они также решают пока не использовать ИИ для оценки риска в записях изменений.

Что изменилось: разборы приходят в течение суток и содержат больше деталей о том, что помогло. Что остаётся трудным: инженеры порой принимают формулировки модели о причинах, которые свидетельства подтверждают лишь слабо; конфиденциальные детали изредка остаются в экспортируемых чатах; а один инженер беспокоится, что навыки написания угаснут. Руководитель назначает ежеквартальную сессию, на которой инженеры пишут один разбор без ИИ, и сравнивает.

Четыре перспективы

Команды продукта и поставки

Используйте ИИ для черновиков описаний изменений, идей тестов и примечаний к выпуску по вашим записям и проверяйте их. Относитесь к сгенерированному коду как к недоверенному: тестируйте и сканируйте его, как любое другое изменение.

Команды услуг и эксплуатации

Используйте ИИ для резюмирования переписки и составления обновлений, разборов и статей, с приложенными источниками. Проверяйте каждое время, имя и причину и владейте тем, что публикуете.

Руководство и управление

Задавайте правила о данных и согласованиях и финансируйте инструменты, которые им соответствуют. Просите свидетельства сэкономленного времени и пойманных ошибок. Не принимайте выход ИИ как запись факта.

Клиенты и пользователи

Вы должны получать обновления, проверенные человеком. Если вы видите ошибку в полученном, сообщите поставщику. Спросите, как используется ИИ в том, что вам сообщают.

Agile, ИИ, автоматизация и аналитика

Agile

Пробуйте по одной задаче письма с теми, кто её выполняет, собирайте обратную связь и улучшайте инструкции. Держите обзоры короткими и частыми. Предостережение: не позволяйте более быстрому черновику сокращать осмысление; ценность разбора — в обучении.

ИИ

Основывайте каждое применение на записи, показывайте источники и оставляйте ответственного человека. Тестируйте на прошлых случаях и записывайте использование ИИ. Предостережение: гладкий текст скрывает слабые свидетельства; просите модель помечать уверенность и источники и проверяйте их. См. тему 5.7 — ИИ-навыки и промпты.

Автоматизация

Автоматизируйте обвязку: экспорт записи, удаление секретов, вызов модели, прикрепление черновика к обращению и уведомление проверяющего. Сохраняйте контрольную точку проверки перед публикацией. Предостережение: конвейер, автоматически публикующий черновики, распространяет ошибки; требуйте одобрения. См. тему 6.2 — Автоматизация рабочих процессов и оркестрация.

Аналитика

Отслеживайте время подготовки разборов, правки черновиков, найденные ошибки и использование по видам задач. Предостережение: подсчёт созданных черновиков поощряет объём, а сэкономленное время часто оценивают на глаз; проверяйте качество итоговых документов выборочно. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.

Типичные виды сбоев

  • Факты по памяти. Модель выдумывает время и причины. Давайте запись и требуйте цитат.
  • Непроверенные внешние обновления. Неверная информация доходит до клиентов. Требуйте одобрения человеком.
  • Секреты в запросах. Утекают чувствительные данные. Используйте одобренные инструменты и убирайте секреты.
  • Штамповка. Проверяющие принимают черновики без проверки. Дайте контрольный список и проверяйте выборки.
  • Входы, манипулирующие моделью. Враждебный текст меняет поведение. Считайте входы недоверенными.
  • Оценка риска с помощью ИИ. Гладкому «низкий» верят. Используйте ИИ для вопросов, а риск оценивают люди.
  • Утрата навыков. Люди перестают писать и проверять. Сохраняйте практику и качество проверки.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Использование Индивидуальные эксперименты Общие советы Одобренные шаблоны для инцидентов, знаний и изменений Шаблоны пересматриваются по результатам Шаблоны встроены в инструменты с управлением
Обоснование и проверка Память модели Некоторые источники показаны Источники цитируются, факты сверяются с записями Ошибки отслеживаются и возвращаются Проверка частично автоматизирована с подписью человека
Защита данных Неясно Осведомлённость Одобренные инструменты и правила Соблюдение отслеживается Меры контроля встроены в инструменты и конвейеры
Подотчётность Неясна Неформальная Названные владельцы каждого выхода Владельцы и проверки аудируются Подотчётность встроена по услугам

Контрольный список

  • Мы выбрали несколько малорисковых задач письма для генеративного ИИ.
  • Мы даём модели запись и говорим использовать только её.
  • Выходы цитируют источники и разделяют факты и гипотезы.
  • Названный человек владеет каждым выходом и проверяет его, прежде чем он передаётся.
  • Мы используем одобренные инструменты для чувствительного содержимого и убираем секреты.
  • Мы сверяем время, имена, числа и причины с источником.
  • Мы записываем, когда ИИ помогал и кто проверял.
  • Мы не позволяем ИИ единолично одобрять изменения или называть первопричины.

Запросы к ИИ

Постройте хронологию инцидента с источниками.

Below is the chat log and ticket history of an incident, with names removed: [paste].
Produce a timeline table with columns: time (exactly as written; write "not stated" if no time), event, and the quoted source line. Then list impact as stated in the text, and a separate section "Hypotheses mentioned" with who raised each and whether the text shows it was confirmed or ruled out. Do not add anything not in the text.
List what you are unsure of.

Подготовьте черновик статьи базы знаний по решённому обращению.

Here is a resolved ticket with notes, personal data removed: [paste]. Here are existing articles on related topics: [paste titles and summaries].
Draft a new article with a title in plain words, symptom, steps, and how to check it worked. Use only the ticket. Mark missing information with [missing], and list existing articles that might duplicate this one.
List what you are unsure of.

Проверьте описание изменения.

Here is a change description: [paste]. Our required items: [list].
List which required items are missing or unclear, list questions a reviewer should ask, and list any statements in the description that look inconsistent with each other. Do not rate the risk or recommend approval.
List what you are unsure of.

ИИ-навыки

  • postmortem: используйте, чтобы структурировать разборы инцидентов, черновики которых готовит ИИ, а владеют ими люди.
  • prompt-engineering: используйте, чтобы писать ясные обоснованные инструкции.
  • runbook: используйте, чтобы превращать процедуры в проверяемые и испытанные руководства.
  • release-notes: используйте, чтобы готовить черновики примечаний к выпуску для проверки.
  • change-request: используйте, чтобы определить, что содержит хорошее описание изменения.

Ключевые источники

  • NIST, AI Risk Management Framework: структура для выявления рисков использования ИИ и управления ими.
  • OWASP, рекомендации по рискам приложений на основе больших языковых моделей (owasp.org): советы сообщества о внедрении запросов и связанных рисках.
  • Wikipedia, "Generative AI" и "Hallucination (artificial intelligence)": обзоры технологии и её главного вида сбоя.
  • Wikipedia, "Automation bias": почему люди чрезмерно доверяют автоматическим предложениям.

Источники

  1. Generative AI — Wikipedia — https://en.wikipedia.org/wiki/Generative_AI
  2. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
  3. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
  4. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  5. Automatic summarization — Wikipedia — https://en.wikipedia.org/wiki/Automatic_summarization
  6. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  7. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
  8. Context window — Wikipedia — https://en.wikipedia.org/wiki/Context_window
  9. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  10. Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
  11. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
  12. OWASP — OWASP Foundation — https://owasp.org