Почему это важно

Большинство применений ИИ в управлении услугами до сих пор носило совещательный характер. Модель читает обращение и предлагает категорию или составляет ответ, который правит человек. Если предложение неверно, человек замечает это до того, как что-то произойдёт. Агент ИИ это меняет. Ему даны инструменты: он может запрашивать системы, обновлять записи, выполнять команды, открывать и закрывать обращения и отправлять сообщения. Он планирует шаги к цели и выполняет их, часто при малом участии человека между инструкцией и результатом.

Это обещает реальную ценность. Агент мог бы расследовать оповещение, вытаскивая журналы, проверяя недавние изменения и публикуя резюме. Он мог бы обработать рутинный запрос от начала до конца: проверить право, создать учётную запись, уведомить пользователя. Он мог бы подготовить исправление и открыть запрос на слияние. При хорошем исполнении он снимает рутинную работу с занятых людей и работает в любой час.

Он также меняет природу риска. Неверный ответ — неудобство. Неверное действие может удалить данные, предоставить доступ не тому человеку, остановить услугу или отправить сообщение десяти тысячам клиентов. Скорость, делающая агентов полезными, заставляет их ошибки быстро распространяться. И агенты уязвимы для атак: враждебная инструкция, спрятанная в обращении или веб-странице, может направить агента, имеющего власть действовать.

Эта тема излагает основные идеи безопасного использования агентов в управлении услугами: область, права, согласование, аудит и остановка. Она опирается на тему 5.1 — ИИ в управлении услугами и тему 5.6 — Управление ИИ, риски и соответствие и связана с автоматизацией (тема 6.1 — Стратегия автоматизации и тема 6.6 — Автоматизация runbook и автоматическое устранение сбоев), обеспечением изменений (тема 3.4 — Обеспечение изменений) и информационной безопасностью (тема 3.13 — Управление информационной безопасностью).

Основные понятия

Агент ИИ. Система, воспринимающая свою среду, принимающая решения и совершающая действия для достижения целей. Интеллектуальных агентов и агентов ИИ описывает Wikipedia. В современной практике агент обычно сочетает языковую модель с инструментами и циклом: модель решает, что делать дальше, вызывает инструмент, читает результат и продолжает, пока не решит, что закончила, или не достигнет предела.

Инструменты и права. Набор действий, которые агент может совершать, таких как чтение базы знаний, запросы мониторинга, создание обращения или перезапуск службы. Инструменты часто предоставляются через программные интерфейсы приложений (API). API описывает Wikipedia. Открытые протоколы подключения моделей к инструментам, такие как Model Context Protocol, описанный в Wikipedia, облегчают добавление инструментов, что полезно, но и расширяет то, что агент может делать. Каждый инструмент несёт собственный риск.

Уровни автономии. Полезный способ думать о контроле — как об уровнях от отсутствия до полного. На одном конце агент только предлагает. Затем он готовит действие для согласования. Затем действует сам в узких пределах и сообщает. На дальнем конце действует широко без проверки. Идею человеческого надзора за автоматизированными системами описывает статья Wikipedia о наблюдательном управлении. Выбирайте уровень для каждой задачи по цене ошибки и возможности отмены.

Человеческий надзор. Человек остаётся способным понимать, одобрять, останавливать или исправлять агента. Системы с человеком в контуре описывает Wikipedia. Надзор принимает несколько форм: согласование действий до их выполнения, наблюдение за действиями по ходу и проверка после. Правильная форма зависит от скорости и риска. Проверка постфактум бесполезна для необратимого действия.

Предвзятость автоматизации и штамповка. Люди склонны одобрять то, что предлагает система, особенно когда согласования частые и выглядят одинаково. Предвзятость автоматизации описывает Wikipedia. Мера контроля, которую люди одобряют, не читая, мерой контроля не является. Проектируйте согласования так, чтобы они показывали, что произойдёт, были достаточно редки, чтобы их читали, и проверялись выборкой.

Наименьшие привилегии. У агента должны быть только права, необходимые для его задачи, и только на нужное время. Принцип наименьших привилегий описывает Wikipedia. Используйте отдельные идентичности для агентов, а не общую учётную запись администратора, чтобы действия можно было отследить, а права ограничить.

Запутавшийся посредник (confused deputy). Проблема безопасности, когда доверенную программу обманом заставляют использовать свои полномочия от имени того, у кого их нет. Проблему запутавшегося посредника описывает Wikipedia. Агент, который может действовать с высокими привилегиями и принимает инструкции из текста с низким доверием, например сообщения пользователя, — классический случай.

Внедрение запросов (prompt injection). Враждебные инструкции, спрятанные в содержимом, которое читает агент, таком как обращение, письмо, веб-страница или строка журнала. Внедрение запросов описывает Wikipedia. Поскольку модель не может надёжно отличить инструкции от данных, источник содержимого может пытаться перенаправить агента. Защита опирается в основном на ограничение того, что агент может делать, а не на убеждение модели игнорировать плохой текст.

Песочница. Запуск агентов в ограниченных средах с ограниченным доступом к системам и данным. Песочницы в компьютерной безопасности описывает Wikipedia. Позвольте агенту пробовать действия в тестовой среде, прежде чем он начнёт работать в эксплуатации.

Обратимость. Предпочитайте действия, которые можно отменить: создание обращения, добавление метки, предложение изменения. Необратимые действия, такие как удаление, платёж и отправка сообщений наружу, требуют согласования или запрещены. Откат в управлении данными описывает Wikipedia.

Пределы и предохранители. Ограничения числа действий агента в час, объёма трат, числа одновременно изменяемых элементов и времени работы. Ограничение частоты описывает Wikipedia. Предел превращает неуправляемое развитие в ограниченную ошибку.

Аварийный выключатель (kill switch). Быстрый надёжный способ остановить агента и отозвать его доступ. Аварийные выключатели описывает Wikipedia. Проверяйте его. Выключатель, зависящий от содействия самого агента или от недоступной системы, выключателем не является.

Журнал аудита. Полная запись того, о чём агента просили, что он решил, какие инструменты вызывал с какими входами и что произошло. Журнал аудита описывает Wikipedia. Без него нельзя расследовать ошибку, показать соответствие или учиться.

Подотчётность. Агент не подотчётен; подотчётны люди. Названный владелец отвечает за то, что делает агент, за его права и за просмотр его записи. Подотчётность описывает Wikipedia. См. тему 2.8 — Владение продуктом и услугой.

Мультиагентные системы. Несколько агентов, работающих вместе, могут добавлять сложность, каскадные ошибки и неясную ответственность. Мультиагентные системы описывает Wikipedia. Рассматривайте область и права каждого агента отдельно и будьте осторожны, когда агенты дают указания агентам.

Разделение обязанностей. Идея, что ни одна сторона не должна единолично завершать рискованное действие, применима и к агентам. Агент, предлагающий изменение, не должен быть тем, кто его одобряет. Разделение обязанностей описывает Wikipedia.

Как вписываются линзы. Агенты находятся там, где ИИ встречается с автоматизацией. Гибкая практика предлагает начинать с малого и расширять автономию шагами по свидетельствам. Аналитика измеряет, что делают агенты и в чём ошибаются. Управление (см. тему 5.6 — Управление ИИ, риски и соответствие) задаёт правила.

Лучшие практики

  1. Определите область письменно. Укажите, для чего агент, что он может делать, чего не может никогда и к каким данным может прикасаться. Сначала держите её узкой.
  2. Дайте каждому агенту собственную идентичность. Используйте отдельную учётную запись с минимальными правами, ограниченную его задачей, и ротируйте или истекайте учётные данные. Не используйте повторно учётную запись администратора-человека.
  3. Выбирайте уровень автономии по риску. Пусть агент сначала предлагает, затем действует в малорисковых обратимых задачах и требуйте согласования для всего значимого или необратимого. Запишите уровни для каждой задачи.
  4. Проектируйте согласования, которые люди читают. Показывайте предлагаемое действие, причину, свидетельства и эффект. Делайте согласования достаточно редкими, чтобы их читали, и проверяйте качество одобренного выборкой.
  5. Сначала тестируйте в песочнице. Прогоните агента на безопасной копии с реалистичными случаями, включая враждебные, прежде чем он коснётся эксплуатации.
  6. Считайте входы недоверенными. Не позволяйте содержимому обращений, писем или веба давать полномочия. Ограничьте доступные инструменты, когда агент обрабатывает недоверенное содержимое.
  7. Ограничьте радиус поражения. Задайте пределы числа действий, объёма изменений, трат и времени. Сделайте массовое действие отдельным согласуемым шагом.
  8. Журналируйте всё и просматривайте. Храните полный след, держите его там, где агент не может его изменить, и регулярно просматривайте выборки. Оповещайте о необычных закономерностях.
  9. Постройте и проверьте аварийный выключатель. Сделайте его быстрым, независимым от агента и известным дежурным. Репетируйте.
  10. Расширяйте автономию медленно. Давайте больше только после периода хороших результатов, с одобрением названного владельца и измеренной частотой ошибок. Сокращайте при возникновении проблем.

Вопросы для обсуждения с командой

Какое худшее действие может совершить этот агент с правами, которые мы планируем ему дать? Пройдите по правам, инструмент за инструментом. Ожидайте неловкости. В продолжение уберите или ограничьте любое право, худший случай которого мы не приняли бы.

Какие его действия мы можем отменить, а какие нет? Перечислите их. Ожидайте необратимых, которые считали безопасными. В продолжение потребуйте согласования для каждого необратимого действия.

Как согласующие будут знать, что они согласуют и как часто они будут видеть запрос? Представьте согласующего в загруженный день. Ожидайте длинных одинаково выглядящих запросов. В продолжение разработайте резюме и предел объёма согласований.

Что кому-то пришлось бы написать в обращении или письме, чтобы агент сделал нежелательное? Попробуйте как атакующий. Ожидайте сюрпризов. В продолжение выберите меры снижения, например ограничение инструментов при чтении недоверенного содержимого.

Если бы нам нужно было остановить его прямо сейчас, кто бы это сделал, как и сколько бы это заняло? Спросите шаги и отрепетируйте. Ожидайте неопределённости. В продолжение напишите одностраничную процедуру остановки и проверьте её.

Кто владеет этим агентом и что он просматривает каждую неделю? Назовите человека и просмотр. Ожидайте пробелов. В продолжение назначьте владельца и еженедельный выборочный просмотр с определёнными вопросами.

На практике: пример управления услугами

Инфраструктурная команда национального налогового агентства хочет агента для ночного расследования производственных оповещений. Сейчас дежурного инженера будят по большинству оповещений, он тратит 15–30 минут на сбор контекста и часто обнаруживает, что причина — известная проблема с документированным исправлением.

Команда проектирует агента в три этапа. На первом этапе у агента доступ только на чтение: он может запрашивать метрики, журналы, записи о недавних изменениях и базу знаний и публиковать резюме в канале инцидента с использованными свидетельствами. На втором этапе ему также разрешается небольшой список обратимых действий, таких как перезапуск службы без состояния или увеличение пула воркеров на два экземпляра, только когда оповещение соответствует документированному руководству, с пределом три действия в час и сообщением в канал после каждого. На третьем этапе, ещё не одобренном, ему было бы разрешено предлагать изменения конфигурации для согласования человеком.

У агента собственная служебная учётная запись с доступом к эксплуатации только на чтение плюс два названных действия. Он читает текст обращений и журналов, который может содержать враждебное содержимое, поэтому, когда он читает свободный текст, он не может вызвать ни один инструмент действия на том же шаге. Полная запись запросов агента, вызовов инструментов и результатов идёт в отдельное хранилище журналов. Старший инженер владеет агентом, просматривает десять сессий в неделю и может отключить его учётные данные одной командой, что команда репетирует ежемесячно.

После двух месяцев на первом этапе дежурные находят резюме верными в 85 процентах случаев. В 10 процентах они упускают релевантное изменение, потому что запись об изменении была неполной, а в 5 процентах указывают на неверный компонент. Второй этап начинается с одного руководства. В первый месяц агент перезапускает службу три раза, правильно. В одном тесте с подготовленным обращением, содержащим скрытую инструкцию увеличить пул до очень большого числа, его останавливают ограничение частоты и правило действий.

Что изменилось: инженеров будят реже, и они приходят с резюме и свидетельствами. Что остаётся трудным: опора агента на точные записи об изменениях выявляет пробелы в качестве данных; инженеры порой доверяют резюме больше собственных проверок; а команда безопасности просит увеличить срок хранения журнала аудита и проверять его. Владелец записывает это и придерживает третий этап, пока частота ошибок второго не будет измерена за квартал.

Четыре перспективы

Команды продукта и поставки

Предоставляйте безопасные узкие инструменты с чёткими правами, ограничениями частоты и журналами. Не давайте агентам общий доступ к вашим конвейерам или данным. Включайте агентов в модели угроз.

Команды услуг и эксплуатации

Владейте областью агента, просматривайте его запись и репетируйте его остановку. Держите руководства точными, поскольку агенты на них опираются. Сообщайте об ошибках и «чуть не случившемся».

Руководство и управление

Решайте, какая автономия приемлема для каждой задачи, и требуйте названного владельца и журнал аудита. Просите свидетельства от поэтапных проб и будьте готовы сокращать автономию. Не полагайтесь только на заверения вендоров.

Клиенты и пользователи

Вы должны знать, когда автоматический агент действует по вашему запросу, и иметь путь к человеку, способному исправить ошибку. Сообщайте поставщику, если автоматическое действие было неверным.

Agile, ИИ, автоматизация и аналитика

Agile

Расширяйте автономию небольшими шагами по свидетельствам, рассматривайте каждый шаг с заинтересованными сторонами и держите каждый выпуск небольшим. Предостережение: быстрая итерация может обогнать проверку безопасности; сохраняйте контрольную точку для каждого повышения автономии.

ИИ

Агент — система ИИ с владельцем, тестовыми случаями и мониторингом, и ему нужна особая забота, потому что он действует. Защищайтесь от внедрения запросов и чрезмерного доверия. Предостережение: не полагайтесь на инструкции, велящие модели быть осторожной, как на главную меру контроля; опирайтесь на права, пределы и согласование. См. тему 5.6 — Управление ИИ, риски и соответствие.

Автоматизация

Агенты подключаются к автоматизации: они выбирают и запускают действия. Держите сами действия детерминированными и проверенными, с собственной валидацией, чтобы выбор агента ограничивался одобренными вариантами. Предостережение: автоматизация, принимающая от агента произвольные команды, так же рискованна, как агент; предоставляйте узкие названные действия. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.

Аналитика

Измеряйте выполненные действия, доли согласований, отмены, ошибки, найденные при проверке, сэкономленное время и «чуть не случившееся». Предостережение: высокая доля согласований может означать хорошие предложения или штамповку; проверяйте выборку одобренного. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.

Типичные виды сбоев

  • Широкие права. Агенту дают общую учётную запись администратора. Используйте отдельную идентичность наименьших привилегий.
  • Согласования, которые никто не читает. Частые расплывчатые запросы штампуются. Делайте их редкими, ясными и проверяемыми выборкой.
  • Враждебный текст направляет агента. Содержимое обращений или веб-страниц выдаёт команды. Ограничивайте инструменты вокруг недоверенных входов.
  • Нет пределов. Цикл или ошибка идут со скоростью машины. Ограничьте действия, траты и область.
  • Нет кнопки остановки. Никто не может его остановить. Постройте и отрепетируйте аварийный выключатель.
  • Нет записи. Инциденты нельзя расследовать. Ведите полный защищённый журнал аудита.
  • Автономия растёт из энтузиазма. Агент получает больше власти без свидетельств. Расширяйте шагами с показателями.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Область и права Широкие или неясные Узкая проба Письменная область, своя идентичность, наименьшие привилегии Область и права регулярно пересматриваются Права адаптируются по риску с согласованием
Надзор Нет Неформальный просмотр Определённые уровни автономии и точки согласования Качество согласований оценивается выборочно и измеряется Надзор настраивается по свидетельствам по агентам
Меры безопасности Нет Базовое журналирование Песочница, пределы, проверенный аварийный выключатель Меры контроля аудируются и отрабатываются Меры контроля встроены в платформу для всех агентов
Подотчётность Неясна Создатель владеет Названный владелец с еженедельным просмотром Владелец рассматривает показатели и инциденты Владение координируется по агентам и командам

Контрольный список

  • У агента есть письменная область и названный владелец.
  • Он использует собственную идентичность с правами наименьших привилегий.
  • Уровни автономии определены по задачам, с согласованием значимых или необратимых действий.
  • Согласования показывают, что произойдёт, и проверяются выборочно на качество.
  • Мы протестировали его в песочнице, включая враждебные входы.
  • Пределы ограничивают действия, траты и область.
  • Его полная запись журналируется там, где он не может её изменить, и просматривается.
  • У нас есть аварийный выключатель, и мы репетировали его использование.

Запросы к ИИ

Проверьте область агента.

Our agent's written scope is: [paste]. Its tools and permissions: [list].
List twenty scenarios, some inside the scope, some at the edge, and some that try to get the agent to act outside it or to use a tool in a harmful way, and for each state what the correct behavior is. Do not include real systems or data.
List what you are unsure of.

Просмотрите журнал действий.

Here is a sample of an agent's action log, with identifiers removed: [paste].
List actions that look unusual in size, timing, or target, actions that did not match a documented runbook, and anything that looks like the agent following instructions from untrusted text. Quote each. Do not say whether the agent was right.
List what you are unsure of.

Подготовьте черновик сообщения о согласовании.

The agent proposes this action: [describe]. The evidence it used: [list]. What would change if it were done: [describe]. How to undo it: [describe or write "not known"].
Write a clear approval request of under 100 words for a busy approver, stating what will happen, why, the risk, and how to undo it. Do not recommend approval.
List what you are unsure of.

ИИ-навыки

  • risk-register: используйте, чтобы записывать риски агентов, владельцев и решения.
  • runbook: используйте, чтобы определить действия, которые агент может предпринимать, и когда.
  • security-testing: используйте, чтобы проверять агентов враждебными входами.
  • incident-response-plan: используйте, чтобы планировать реагирование, когда агент ведёт себя неправильно.
  • mlops: используйте, чтобы мониторить и версионировать модели за агентами.

Ключевые источники

  • NIST, AI Risk Management Framework: структура управления рисками ИИ, включая риски автономных систем.
  • OWASP, рекомендации по рискам приложений на основе больших языковых моделей (owasp.org): включая внедрение запросов и чрезмерную самостоятельность.
  • Wikipedia, "AI agent" и "Prompt injection": обзоры идеи и главного риска безопасности.
  • Wikipedia, "Principle of least privilege": основная мера ограничения ущерба.

Источники

  1. Intelligent agent — Wikipedia — https://en.wikipedia.org/wiki/Intelligent_agent
  2. AI agent — Wikipedia — https://en.wikipedia.org/wiki/AI_agent
  3. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
  4. Principle of least privilege — Wikipedia — https://en.wikipedia.org/wiki/Principle_of_least_privilege
  5. Confused deputy problem — Wikipedia — https://en.wikipedia.org/wiki/Confused_deputy_problem
  6. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  7. Sandbox (computer security) — Wikipedia — https://en.wikipedia.org/wiki/Sandbox_(computer_security)
  8. Kill switch — Wikipedia — https://en.wikipedia.org/wiki/Kill_switch
  9. Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
  10. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
  11. Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
  12. OWASP — OWASP Foundation — https://owasp.org