Почему это важно

ИИ перешёл из исследовательской темы в функцию инструментов, которыми сервисные команды уже пользуются. Система обращений предлагает категории. Платформа мониторинга группирует оповещения. Чат-помощник отвечает на вопросы сотрудников. Редактор кода пишет скрипт. Часть этого включил вендор, и никто в команде не решал это принимать.

Потенциал реален. Значительная часть сервисной работы — чтение, письмо, сортировка и поиск, то есть задачи, с которыми нынешний ИИ справляется достаточно хорошо, чтобы экономить время. Риск тоже реален. Системы ИИ выдают гладкие ответы, которые могут быть неверны, могут скрывать, как они пришли к выводу, способны допускать утечки данных и могут отказывать трудно предсказуемым образом. Команда, принимающая ИИ без владения, проверки и показателей, наследует эти риски без выгод.

Эта тема — карта части руководства об ИИ. Она объясняет основные виды ИИ в сервисной работе, где они помогают, где нет и что спросить до внедрения. Следующие темы идут глубже: эксплуатация (тема 5.2 — AIOps), service desk (тема 5.3 — ИИ-служба поддержки и виртуальные агенты), генеративный ИИ (тема 5.4 — Генеративный ИИ для инцидентов, знаний и изменений), агенты, которые действуют (тема 5.5 — Агентный ИИ и человеческий надзор), управление (тема 5.6 — Управление ИИ, риски и соответствие), запросы и навыки (тема 5.7 — ИИ-навыки и промпты) и операционная модель (тема 5.8 — Операционная модель и навыки для ИИ). Описание владельцем новейшей версии ITIL называет ИИ частью среды, которой должно заниматься управление услугами (см. тему 1.3 — ITIL 5).

Основные понятия

Искусственный интеллект. Широкий термин для систем, выполняющих задачи, которые обычно требуют человеческого интеллекта, такие как распознавание закономерностей, понимание языка и выработка рекомендаций. Область и её историю описывает статья Wikipedia об искусственном интеллекте. Термин охватывает много разных методов, и то, что люди имеют в виду под «ИИ», различается. Обсуждая применение, называйте метод и задачу.

Машинное обучение. Системы, которые учатся закономерностям на данных вместо следования явным правилам. Машинное обучение и его ветви описывает Wikipedia. Примеры в сервисной работе: классификация обращений, обнаружение необычных метрик и предсказание отказов. Они зависят от обучающих данных и могут деградировать при изменении условий — проблема, которую Wikipedia описывает как дрейф концепции.

Генеративный ИИ и большие языковые модели. Системы, порождающие новое содержимое, такое как текст, код или изображения, по запросам. Большие языковые модели (LLM) обучены на больших объёмах текста и могут резюмировать, составлять черновики, переводить и отвечать на вопросы. Генеративный ИИ и большие языковые модели описывает Wikipedia. Их выходы гладки и не гарантированно истинны.

Галлюцинация. Выход, правдоподобный, но ложный или необоснованный. Галлюцинации в ИИ описывает Wikipedia. В сервисной работе это может означать выдуманную команду, придуманную политику или уверенную, но неверную первопричину. Планируйте это: основывайте ответы на источниках, показывайте источники и проверяйте до действия.

Генерация с дополнением извлечением. Шаблон, при котором система сначала извлекает соответствующие документы, например статьи базы знаний, а затем просит модель отвечать, используя только их. Подход описывает Wikipedia. Он уменьшает, но не устраняет неверные ответы и зависит от качества документов. См. тему 3.9 — Управление знаниями.

Агенты. Системы, которые не только отвечают, но и действуют: вызывают инструменты, меняют записи, запускают скрипты. Интеллектуальные агенты в общем виде описывает Wikipedia. Агенты повышают ставки, поскольку ошибки имеют последствия в мире. См. тему 5.5 — Агентный ИИ и человеческий надзор.

Где ИИ помогает в управлении услугами. Типичные применения делятся на пять групп:

Область Примеры Главное предостережение
Service desk Классификация и маршрутизация обращений, черновики ответов, ответы на частые вопросы Неверные или выдуманные ответы пользователям
Эксплуатация Группировка оповещений, поиск аномалий, предложение причин Скрытые пропущенные сигналы
Знания Поиск, резюмирование и черновики статей Черновики, распространяющие ошибки
Изменения и поставка Черновики кода и тестов, оценка риска изменений, примечания к выпуску Небезопасный или неверный код, излишнее доверие к оценкам риска
Поддержка решений Резюме данных, прогноз спроса, поиск закономерностей Самоуверенные выводы из слабых данных

Человек в контуре. Человек проверяет или одобряет выход или действие ИИ, прежде чем оно вступит в силу. Системы с человеком в контуре описывает Wikipedia. Это мера контроля, и она работает, только если у человека есть время, информация и полномочия сказать «нет». Wikipedia также описывает предвзятость автоматизации — склонность чрезмерно полагаться на автоматические предложения, которая может превратить человеческую проверку в штамп.

Объяснимость. Способность сказать, почему система выдала выход. Объяснимый ИИ описывает Wikipedia. Для некоторых применений, например ранжирования обращения, достаточно приблизительной причины; для других, например решения, влияющего на доступ или оплату человека, нужно больше. Решите, сколько объяснений требует каждое применение.

Предвзятость и справедливость. ИИ, обученный на прошлых данных, может воспроизводить прошлые закономерности, в том числе несправедливые. Алгоритмическую предвзятость описывает Wikipedia. В сервисной работе предвзятость может проявляться в том, кто быстрее получает помощь, чьи запросы отмечаются, чей язык система понимает хорошо.

Данные и конфиденциальность. Инструменты ИИ обрабатывают данные, которые вы им даёте, например текст обращений с личными данными. Куда уходят данные, как долго они хранятся и обучают ли они другие модели — центральные вопросы. См. тему 5.6 — Управление ИИ, риски и соответствие.

Риски безопасности. У систем ИИ есть собственные слабости, например внедрение запросов (prompt injection), когда текст в документе или сообщении пытается дать модели новые инструкции. Внедрение запросов описывает Wikipedia. Считайте внешние входы недоверенными.

Жизненный цикл и эксплуатация. Используемой модели нужны мониторинг, переобучение или замена, версионирование и вывод. MLOps, описанный в Wikipedia, применяет к этому инженерную дисциплину. Для модели вендора вам всё равно нужно отслеживать изменения поведения после обновлений.

Рамки управления. Закон Европейского союза об искусственном интеллекте, описанный в Wikipedia, устанавливает юридические обязательства, зависящие от категорий риска. ISO/IEC 42001 задаёт систему менеджмента ИИ, а Национальный институт стандартов и технологий США публикует AI Risk Management Framework. Это лексика и структура для управления; они не заменяют юридическую консультацию.

Как вписываются линзы. ИИ — одна из четырёх линз. Гибкая практика предлагает небольшие пробы с реальными пользователями и короткую обратную связь. Автоматизация — ближайший сосед: ИИ решает или предлагает, автоматизация действует. Аналитика поставляет данные, на которых учится ИИ, и показатели, показывающие, помогает ли он.

Лучшие практики

  1. Начинайте с проблемы, а не с инструмента. Назовите конкретную боль, например время на сортировку обращений, и показатель улучшения. Затем спросите, правильный ли ответ ИИ или поможет более простое исправление.
  2. Ведите перечень применений ИИ. Перечислите каждую функцию и инструмент ИИ, включая функции вендоров и личные инструменты, которыми сотрудники пользуются для работы. Записывайте назначение, данные, владельца и статус.
  3. Назовите владельца каждого применения. Один человек отвечает за то, что делает ИИ, какие данные использует и что происходит, когда он ошибается. Без владельца никто не замечает деградацию.
  4. Решите, где решает человек. Для каждого применения запишите, что ИИ может делать сам, что требует проверки и чего он не должен делать никогда. Сделайте проверку реальной: дайте проверяющим время и контекст.
  5. Основывайте ответы на собственных источниках. Используйте извлечение из рассмотренных знаний, показывайте источники пользователю и ясно говорите, когда ни один источник не поддерживает ответ.
  6. Тестируйте до и после запуска. Составьте набор реалистичных тестовых случаев с известными ответами, включая неудобные и враждебные. Запускайте его перед выпуском и после каждого изменения модели или данных.
  7. Измеряйте ценность и ошибки. Отслеживайте сэкономленное время, качество выходов, исправления людьми, жалобы пользователей и стоимость. Регулярно проверяйте выборки выходов.
  8. Защищайте данные. Решите, какие данные можно отправлять в какие инструменты, удаляйте личные и чувствительные детали, где можете, и проверяйте условия договоров на хранение и использование для обучения.
  9. Планируйте на случай сбоя. Облегчите выключение функции ИИ, маршрутизацию к человеку и восстановление. Репетируйте отказ услуги ИИ, от которой вы зависите.
  10. Развивайте навыки и делитесь обучением. Учите людей хорошо использовать ИИ и сомневаться в нём. Делитесь тем, что работает и что нет, между командами. См. тему 5.7 — ИИ-навыки и промпты.

Вопросы для обсуждения с командой

Где мы уже используем ИИ, включая функции, которые мы не выбирали, и инструменты, которыми люди пользуются сами? Спросите всех и проверьте настройки вендоров. Ожидайте более длинного списка, чем кто-либо предсказывал. В продолжение запишите каждое применение с владельцем.

Какие наши задачи в основном — чтение, письмо и сортировка, а какие мы не хотели бы доверять машине? Вопрос раскладывает задачи по пригодности. Ожидайте согласия насчёт черновиков и разногласий насчёт решений. В продолжение выберите одну малорисковую задачу для пилота.

Что мы сделали бы, если бы наш ИИ-помощник дал пользователю уверенный неверный ответ, и как мы об этом узнаем? Пройдите сценарий. Ожидайте пробелов в обнаружении. В продолжение договоритесь о способе выборочной проверки выходов и сбора обратной связи пользователей.

Какие данные мы отправляем в инструменты ИИ и читали ли мы условия? Перечислите инструменты и данные. Ожидайте личных учётных записей и неизвестных условий. В продолжение договоритесь о правиле, что нельзя вставлять во внешние инструменты.

Как мы узнаем, что применение ИИ стоило своих затрат? Попросите показатель выгоды и показатель вреда. Ожидайте «кажется быстрее». В продолжение выберите одно применение и договоритесь о показателе «до и после».

Какие навыки нужны нашим людям, чтобы хорошо использовать ИИ, и кто их обучит? Подумайте о написании хороших запросов, проверке ответов и распознавании пределов. Ожидайте широкого разброса уверенности. В продолжение запланируйте короткую практическую сессию на реальных задачах.

На практике: пример управления услугами

ИТ-команда национальной сети публичных библиотек поддерживает 200 филиалов и около 6 000 сотрудников. Service desk обрабатывает большой объём повторяющихся вопросов о печати, входах и системе выдачи книг. Руководитель службы хочет использовать ИИ, чтобы сократить очередь, а вендор системы обращений только что добавил ИИ-помощника, включённого по умолчанию для чата сотрудников.

Руководитель услуг сначала составляет список применений ИИ. Помимо помощника вендора она обнаруживает, что два аналитика используют публичный чат-инструмент для резюмирования обращений, а разработчик создал скрипт, составляющий черновики ответов. Она назначает каждому владельца и вводит правило: никаких личных данных в публичных инструментах. Затем она выбирает одно применение для улучшения: помощника для сотрудников, отвечающего на вопросы «как мне» только по одобренной базе знаний, со ссылками на источники и видимой кнопкой для связи с человеком.

Она составляет 60 тестовых вопросов из реальных обращений, включая десять, на которые база знаний не может ответить и правильное поведение — сказать об этом. Первая версия отвечает на три из этих десяти выдуманными шагами. Команда ужесточает инструкции и добавляет правило отказываться, когда статьи нет, и сбои сокращаются до одного. В первый месяц оператор desk читает каждый разговор, не решённый помощником, и выборку остальных.

Что изменилось: помощник решает около трети разговоров без обращения, а операторы тратят меньше времени на повторяющиеся вопросы. Что остаётся трудным: в базе знаний есть устаревшие статьи, которые помощник цитирует, поэтому команде нужно её почистить; вендор меняет базовую модель без предупреждения, что однажды изменило поведение за ночь; а сотрудники небольших филиалов порой предпочитают звонить. Руководитель вводит ежемесячный тестовый прогон, согласованный контакт для изменений модели и чёткое сообщение, что телефон остаётся доступным.

Четыре перспективы

Команды продукта и поставки

Используйте ИИ для черновиков кода, тестов и документации под вашей обычной проверкой и проверками конвейера. Записывайте, где использовался ИИ, и следите за небезопасным или нелицензированным кодом. Относитесь к функциям ИИ в собственном продукте как к услугам с владельцами.

Команды услуг и эксплуатации

Используйте ИИ для сортировки, резюмирования и поиска, а всё, что влияет на пользователей или системы, решает человек. Сообщайте об ошибках и «чуть не случившемся» и помогайте настраивать то, что ИИ видит и говорит.

Руководство и управление

Просите перечень, владельцев, показатели и план на случай сбоя. Задайте чёткие правила о данных и решениях. Финансируйте обучение и тестирование, а не только лицензии.

Клиенты и пользователи

Вы должны знать, когда говорите с ИИ, и иметь возможность добраться до человека. Сообщайте поставщику, когда ответ был неверным или бесполезным. Будьте осторожны с тем, какие личные данные вы сообщаете.

Agile, ИИ, автоматизация и аналитика

Agile

Пробуйте ИИ в небольших пилотах с реальными пользователями, учитесь на обратной связи и решайте: сохранить, изменить или прекратить. Держите заинтересованные стороны вовлечёнными в то, что ИИ может делать. Предостережение: успешная демонстрация — не свидетельство безопасности или ценности применения; проведите настоящий пилот с показателями.

ИИ

Эта тема — сама линза ИИ: каждому применению нужны владелец, человек, решающий там, где возможен вред, обнаружение ошибок и показатели. Предостережение: не делегируйте подотчётность вендору или модели; вы остаётесь подотчётны за результаты, которые поставляет ваша услуга.

Автоматизация

ИИ решает или предлагает; автоматизация действует. Соединяйте их осторожно, с пределами того, что может происходить без согласования, журналами и способом остановки. Предостережение: ИИ, запускающий автоматизацию, может быстро умножить ошибку; добавьте ограничения частоты и проверку. См. тему 6.1 — Стратегия автоматизации.

Аналитика

Измеряйте выгоду, частоту ошибок в выборках, обратную связь пользователей и стоимость. Предостережение: числа использования и оценки пользователей могут выглядеть хорошо при плохом качестве; проверяйте выборки выходов и сравнивайте с базовой линией. См. тему 7.3 — Измерение и отчётность и книгу Service Management Metrics.

Типичные виды сбоев

  • Инструмент раньше проблемы. Функцию включают, и никто не измеряет выгоду. Начинайте с боли и показателя.
  • Нет перечня. Применения множатся незаметно. Перечислите каждое применение ИИ с владельцем.
  • Человеческая проверка только по названию. Проверяющие ставят штамп. Дайте время, контекст и полномочия и проверяйте выборки их решений.
  • Уверенные неверные ответы. Пользователи действуют по выдуманным советам. Основывайте ответы, ссылайтесь на источники и отказывайтесь, когда не уверены.
  • Утечки данных. Чувствительный текст уходит во внешние инструменты. Задайте правила и проверяйте условия.
  • Игнорирование изменений модели. Поведение сдвигается после обновления вендора. Регулярно тестируйте и назначьте контакт для изменений.
  • Нет выхода. Услуга зависит от ИИ без запасного варианта. Предусмотрите путь к человеку и выключатель.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Перечень и владение Применения неизвестны Основные применения перечислены Перечень с владельцами и назначением Перечень пересматривается и проверяется Перечень интегрирован с каталогом и управлением
Решения человека Не определены Неформальная проверка Определены точки проверки для каждого применения Качество проверки оценивается выборочно Проверка адаптируется по риску и свидетельствам
Тестирование и мониторинг Нет Демонстрации Наборы тестов и регулярные выборки Ошибки и дрейф измеряются Непрерывная оценка по применениям
Данные и риск Неясно Осведомлённость Правила о данных и условиях вендоров Соответствие проверяется и аудируется Риском управляют по командам и поставщикам

Контрольный список

  • Мы ведём перечень применений ИИ, включая функции вендоров и личные инструменты.
  • У каждого применения есть названный владелец.
  • Мы записали, что каждый ИИ может делать сам, что требует проверки и чего он делать не должен.
  • Ответы основаны на рассмотренных источниках и показывают их.
  • У нас есть набор тестов, и мы запускаем его регулярно.
  • Мы выборочно проверяем выходы и отслеживаем ошибки, исправления и обратную связь.
  • У нас есть правила о том, какие данные идут в какие инструменты.
  • Пользователи могут добраться до человека, и мы можем выключить каждое применение ИИ.

Запросы к ИИ

Перечислите применения ИИ по описанию наших инструментов.

Here is a description of the tools our team uses and what each does: [paste].
List which tools probably include AI features, what each might do, what data it might process, and a question to ask the vendor or owner. Mark clearly which items are guesses and do not state facts about vendors.
List what you are unsure of.

Подготовьте черновик тестовых вопросов для помощника.

Our assistant answers questions about [topics] using only these documents: [list titles].
Write 30 test questions: 15 that the documents answer, 10 that they do not, and 5 that try to make the assistant ignore its instructions. For each, state the correct behavior. Do not include real personal data.
List what you are unsure of.

Подготовьте обзор применения ИИ.

AI use: [describe]. Owner: [role]. Data used: [list]. Decisions it affects: [list].
Draft a one-page review with: purpose, what it may do alone, what needs human review, how errors are detected, how it is switched off, and open questions. Mark every item you could not fill from my description.
List what you are unsure of.

ИИ-навыки

  • prompt-engineering: используйте, чтобы проектировать запросы, которые ясны, обоснованы и проверяемы.
  • machine-learning-model-card: используйте, чтобы документировать, что делает модель, её данные и пределы.
  • risk-register: используйте, чтобы записывать риски ИИ, владельцев и решения.
  • itil-5: используйте, чтобы соотнести применение ИИ с новейшим руководством владельца, помечая непроверенные утверждения.
  • mlops: используйте, чтобы управлять моделями на протяжении жизненного цикла.

Ключевые источники

  • NIST, AI Risk Management Framework: широко используемая структура для выявления рисков ИИ и управления ими.
  • ISO/IEC 42001 (сам стандарт): требования к системе менеджмента искусственного интеллекта; читайте текущую редакцию у издателя.
  • PeopleCert, ITIL certification pages: описание владельцем ITIL (версия 5), включая ИИ.
  • Wikipedia, "Artificial intelligence" и "Large language model": обзоры области и технологии.

Источники

  1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
  2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
  3. Generative AI — Wikipedia — https://en.wikipedia.org/wiki/Generative_AI
  4. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
  5. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
  6. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
  8. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
  9. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
  10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
  11. ITIL Foundation Bridge (Version 5) — PeopleCert — https://www.peoplecert.org/browse-certifications/it-governance-and-service-management/ITIL-1/itil-foundation-bridge-version-5-4158
  12. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework