Управление ИИ, риски и соответствие
Управление ИИ даёт организации названных владельцев, чёткие правила о данных и решениях, оценку рисков соразмерно вреду, тестирование и записи по каждой используемой системе ИИ; фреймворки, такие как ISO/IEC 42001, NIST AI Risk Management Framework и Закон ЕС об ИИ, дают лексику и структуру, но не юридические советы.
Почему это важно
ИИ приходит в организацию сразу через много дверей. Вендоры добавляют функции ИИ в инструменты, за которые вы уже платите. Команды создают помощников. Люди используют публичные чат-инструменты для работы. Каждое применение несёт вопросы, которые организация, возможно, не задавала: какие данные идут на вход, кто их видит, насколько он точен, на кого влияют его решения и кто отвечает, когда он ошибается.
Без управления на эти вопросы отвечают по одному применению за раз, непоследовательно или никак. Последствия варьируются от неловких до серьёзных: конфиденциальный документ, вставленный в публичный инструмент, система отбора, обращающаяся с одними группами хуже, чем с другими, помощник, дающий клиенту неверный совет, регулятор, просящий свидетельства контроля и не находящий их.
Управление — это ответ, и оно не должно быть тяжёлым. По сути это небольшой набор привычек: знать, какой ИИ вы используете, назначить владельца каждому применению, оценить риск соразмерно тому, что может пойти не так, тестировать и мониторить, задать правила о данных и человеческом надзоре и вести записи. Законы и стандарты развиваются быстро: Закон Европейского союза об искусственном интеллекте, описанный в Wikipedia, устанавливает обязательства по категориям риска, а во многих других юрисдикциях есть правила или предложения. Эта тема объясняет структуру и лексику и показывает, как вписать управление ИИ в уже имеющееся управление. Она не даёт юридических советов; по любому правовому вопросу обращайтесь к квалифицированному консультанту.
Описание владельцем новейшей версии ITIL помещает ИИ внутрь среды, которой должно заниматься управление услугами (см. тему 1.3 — ITIL 5). Эта тема связана с общим взглядом на ИИ (тема 5.1 — ИИ в управлении услугами), агентами (тема 5.5 — Агентный ИИ и человеческий надзор), операционной моделью (тема 5.8 — Операционная модель и навыки для ИИ) и корпоративным управлением (тема 8.1 — Управление, риски и соответствие требованиям).
Основные понятия
Управление, риски и соответствие (GRC). Управление — это то, как организацию направляют и контролируют; управление рисками выявляет угрозы целям и работает с ними; соответствие — выполнение обязательств, вытекающих из законов, договоров и политик. GRC как интегрированный подход к этим трём описывает Wikipedia. Управление ИИ применяет ту же логику к ИИ.
Перечень ИИ. Список всех систем ИИ в использовании или разработке: назначение, владелец, вендор или модель, используемые данные, пользователи и затронутые люди, уровень риска и статус. Нельзя управлять тем, чего не видишь. Включайте встроенные функции вендоров и личные инструменты, используемые для работы.
Подход на основе риска. Уровень контроля должен соответствовать уровню потенциального вреда. Резюмирование записей совещания несёт иной риск, чем ранжирование соискателей. Закон ЕС об ИИ использует похожий подход с категориями от минимального до неприемлемого риска; категории описывает Wikipedia. Проверьте актуальный текст и вашу ситуацию с юридическим консультантом.
Оценка риска для ИИ. Для каждого применения спросите: кому может быть причинён вред и как; насколько вероятно и серьёзно; каковы пределы системы; что происходит, когда она ошибается; и каковы альтернативы. Управление рисками в целом описывает Wikipedia. Записывайте оценку и решение владельца. Оценки воздействия на конфиденциальность, описанные в Wikipedia, — родственный инструмент для персональных данных.
Стандарты и фреймворки. ISO/IEC 42001, опубликованный в 2023 году, устанавливает требования к системе менеджмента искусственного интеллекта, сопоставимой по структуре с другими стандартами систем менеджмента ISO. Национальный институт стандартов и технологий США (NIST) публикует AI Risk Management Framework, организованный вокруг четырёх функций: управлять (govern), картировать (map), измерять (measure) и управлять рисками (manage). Оба — добровольные инструменты структуры и общей лексики. Читайте актуальные тексты у издателей. См. тему 1.8 — Фреймворки и стандарты управления услугами.
Право и регулирование. ИИ подчиняется существующим законам, таким как защита данных, защита потребителей, недопущение дискриминации, трудовое и интеллектуальное право, а также новым правилам, специфичным для ИИ. Регулирование искусственного интеллекта по юрисдикциям, быстро меняющееся, описывает Wikipedia. Обязательства зависят от того, где вы работаете и что делаете. Это руководство не может сказать вам, что применимо.
Защита данных и конфиденциальность. Системы ИИ часто обрабатывают персональные данные. Законы вроде Общего регламента по защите данных (GDPR) в Европейском союзе устанавливают правила о правовом основании, цели, минимизации, правах личности и в некоторых случаях ограничения автоматизированных решений. GDPR и конфиденциальность описывает Wikipedia. Привлекайте специалиста по конфиденциальности или юриста и записывайте, куда идут данные, как долго хранятся и обучают ли какую-либо модель.
Предвзятость и справедливость. ИИ, обученный на прошлых данных, может воспроизводить несправедливые закономерности, так что некоторые получают худшие результаты. Алгоритмическую предвзятость и справедливость в машинном обучении описывает Wikipedia. Проверяйте различия в исходах между группами, релевантными применению, и смотрите, кого это затрагивает, а не только на среднюю результативность. Решите, что приемлемо, до запуска.
Прозрачность и объяснимость. Люди, затронутые системой ИИ, должны знать о её применении, а для значимых решений — иметь возможность получить объяснение и путь оспаривания. Алгоритмическую прозрачность и объяснимый ИИ описывает Wikipedia. Правильный уровень зависит от ставок.
Человеческий надзор. Человек, способный понимать систему, подвергать её сомнению и отменять её решения, имея на это время и информацию. См. тему 5.5 — Агентный ИИ и человеческий надзор. Надзор, существующий только на бумаге, — частая находка.
Безопасность и защищённость. Системы ИИ могут подвергаться атакам (например, внедрению запросов), допускать утечки данных и вести себя неожиданно. Красное командование (red-teaming), описанное в Wikipedia, — практика проверки системы имитацией противника. См. тему 3.13 — Управление информационной безопасностью.
Интеллектуальная собственность. Возникают вопросы о материалах, использованных для обучения моделей, владении выходами и лицензиях самих моделей. Интеллектуальную собственность и авторское право описывает Wikipedia. См. тему 4.2 — Управление программными активами. Берите консультацию о том, как это касается вас.
Подотчётность и роли. Управлению нужны чёткие роли: исполнительный спонсор, орган, задающий политику и рассматривающий применения повышенного риска, владельцы каждой системы и специалисты по безопасности, конфиденциальности и правовым вопросам. Подотчётность описывает Wikipedia. Избегайте комитета, который всё одобряет и блокирует работу; оставляйте рассмотрение для применений повышенного риска.
Меры контроля по жизненному циклу. Меры контроля применяются на протяжении жизни системы: проектирование (цель, данные, риск), создание или покупка (должная осмотрительность, договоры, тестирование), развёртывание (согласование, мониторинг), эксплуатация (результативность, дрейф, инциденты) и вывод. См. тему 3.14 — Управление поставщиками.
Записи. Храните свидетельства: перечень, оценки рисков, результаты тестов, согласования, записи об инцидентах и журналы использования. Записи поддерживают аудиты, обучение и оспаривание со стороны затронутых людей.
Как вписываются линзы. Управление — слой контроля вокруг линзы ИИ. Гибкая практика предлагает соразмерное быстрое рассмотрение с ограждениями, которыми команды могут пользоваться, не ожидая. Автоматизация может обеспечивать правила, например блокировать отправку чувствительных данных в неодобренные инструменты. Аналитика даёт свидетельства мониторинга.
Лучшие практики
- Сначала постройте перечень. Спросите команды, проверьте настройки вендоров и просмотрите сетевые данные и расходы. Записывайте каждую систему ИИ с владельцем и назначением.
- Классифицируйте по риску. Определите несколько уровней риска с примерами, например низкий (черновики внутреннего текста), средний (ответы для клиентов) и высокий (решения, затрагивающие права или безопасность людей). Привяжите уровень рассмотрения к уровню риска.
- Назовите владельца каждого применения. Один подотчётный человек на систему, подписывающий оценку риска и отвечающий за результативность и инциденты.
- Напишите короткую ясную политику. Укажите, какие данные можно отправлять в какие инструменты, какие применения требуют согласования, чего нельзя делать никогда и к кому обращаться. Уложитесь в несколько страниц и публикуйте примеры.
- Предоставьте одобренные инструменты и маршруты. Если у сотрудников нет одобренного способа использовать ИИ, они будут использовать неодобренные. Предложите инструменты с надлежащими условиями и быстрый путь согласования.
- Оценивайте до и тестируйте после. Проводите соразмерную оценку риска до запуска применения и тестируйте реалистичными случаями, включая проверки на предвзятость и злоупотребление. Повторяйте после значительных изменений.
- Проверяйте вендоров и условия. Спрашивайте вендоров, как они используют ваши данные, как тестируют, как сообщают об изменениях моделей и что происходит с данными в конце. Записывайте ответы. См. тему 3.14 — Управление поставщиками.
- Определите человеческий надзор на практике. Для каждого применения скажите, кто что проверяет, с какой информацией и как часто, и проверяйте выборки проверок.
- Мониторьте и обрабатывайте инциденты. Отслеживайте ошибки, жалобы, дрейф и события безопасности. Относитесь к инцидентам ИИ как к другим инцидентам и учитесь на них. См. тему 3.2 — Управление инцидентами.
- Регулярно пересматривайте и ведите записи. Пересматривайте перечень и уровни риска хотя бы ежегодно и при изменении законов или систем. Храните свидетельства в одном месте.
Вопросы для обсуждения с командой
Где мы сегодня используем ИИ, кто владеет каждым применением и что может пойти не так? Составьте первый перечень. Ожидайте пробелов, особенно в функциях вендоров и личных инструментах. В продолжение выберите три самых рискованных и назначьте владельцев.
Какие наши применения влияют на доступ, деньги, здоровье или занятость людей и какое рассмотрение они получают? Ищите применения повышенного риска. Ожидайте неопределённости насчёт того, что считается. В продолжение привлеките юристов и специалистов по конфиденциальности к классификации.
Какие данные сотрудники вводят в инструменты ИИ и знают ли они правила? При необходимости спросите анонимно. Ожидайте сюрпризов. В продолжение договоритесь о чётком правиле с примерами и предоставьте одобренную альтернативу.
Что мы показали бы регулятору или клиенту, спросившему, как мы контролируем наш ИИ? Соберите то, что есть. Ожидайте тонкого досье. В продолжение выберите три документа для подготовки: перечень, политику и одну оценку риска.
Как мы проверяем несправедливые исходы и на какие группы нам следует смотреть? Подумайте о людях, затронутых каждым применением. Ожидайте, что никто не проверял. В продолжение выберите одно применение и разработайте простое сравнение между группами, с консультацией.
Кто может сказать «нет» применению ИИ и что происходит, когда он это говорит? Управление без власти остановить декоративно. Ожидайте неясных ответов. В продолжение назовите принимающего решения для применений повышенного риска и срок рассмотрения.
На практике: пример управления услугами
Национальное агентство социального обеспечения использует ИИ в нескольких местах: виртуальный агент вендора на публичном сайте, инструмент, резюмирующий записи дел для сотрудников, помощник разработчика, которым пользуются ИТ-сотрудники, и пилот, отмечающий возможные ошибки в заявлениях на пособия для проверки. Центральной записи нет, а канцелярия министра спросила агентство, как оно контролирует ИИ.
Директор по информации просит офис управления услугами составить перечень за шесть недель. Находится одиннадцать применений, включая два, о которых никто в ИТ-отделе не знал: функцию резюмирования текста, которую вендор включил в системе управления делами, и инструмент транскрипции, используемый одним региональным офисом на личных учётных записях. Команда классифицирует применения по риску вместе со специалистом по конфиденциальности и юридическим отделом. Пилот отметки заявлений классифицируется как высокий риск, так как его выход мог бы привести к действиям против человека; резюме записей дел — средний; помощник разработчика — низкий, хотя несёт вопросы лицензирования.
Для каждого применения называется владелец. Для пилота заявлений владелец заказывает оценку риска, включая сравнение частоты отметок по группам и правило, что никому никогда не отказывают в пособии только на основании выхода инструмента. Инструмент транскрипции останавливается до нахождения одобренной альтернативы; региональному офису предлагается одобренный вендором инструмент по договору с условиями защиты данных. Четырёхстраничная политика задаёт правила о данных и согласованиях, а короткий путь рассмотрения для применений среднего риска обещан в течение десяти рабочих дней.
Что изменилось: агентство может ответить министерству перечнем, политикой и оценкой риска для самого рискованного применения. Что остаётся трудным: функции вендоров, включённые по умолчанию, продолжают появляться, а у агентства нет автоматического способа их обнаруживать; сравнение между группами ограничено данными, которые агентство может не иметь права хранить; а обещание десяти дней на рассмотрение напрягает небольшую команду. Офис планирует ежеквартальный обзор функций вендоров и запрос юридических разъяснений по тестированию.
Четыре перспективы
Команды продукта и поставки
Регистрируйте свои применения ИИ, рано оценивайте риск, тестируйте реалистичными и враждебными случаями и записывайте, что система может делать. Встройте путь для людей оспаривать исходы и для вас — выключать систему.
Команды услуг и эксплуатации
Мониторьте системы ИИ в эксплуатации, обрабатывайте инциденты и сообщайте об ошибках и жалобах. Следуйте правилам о данных и сообщайте владельцам о новых функциях ИИ, появляющихся в ваших инструментах.
Руководство и управление
Спонсируйте программу, назовите права принятия решений и финансируйте работу. Просите перечень, уровни риска и свидетельства тестирования. Не передавайте подотчётность вендорам или комитетам.
Клиенты и пользователи
Вам должны сообщать, когда ИИ используется способами, важными для вас, и вы должны иметь возможность добраться до человека и оспорить решения. Спрашивайте, как используются ваши данные, и сообщайте об исходах, кажущихся неверными или несправедливыми.
Agile, ИИ, автоматизация и аналитика
Agile
Обеспечьте быстрое соразмерное рассмотрение с ограждениями, которым команды могут следовать, такими как одобренные инструменты и короткий контрольный список для малорисковых применений. Итерируйте политику вместе с командами. Предостережение: медленное тяжёлое рассмотрение подталкивает команды его обходить; держите малорисковый маршрут быстрым.
ИИ
ИИ может помогать готовить черновики политик, читать условия вендоров и готовить оценки рисков под юридической и человеческой проверкой. Назовите владельца и для этого применения. Предостережение: резюме закона или договора от ИИ может быть неверным; никогда не используйте его как основание решения о соответствии. См. тему 5.1 — ИИ в управлении услугами.
Автоматизация
Автоматизируйте питание перечня, правила предотвращения утечки данных, согласования малорисковых применений и журналирование, с рассмотрением исключений. Предостережение: автоматическая блокировка может загнать работу на личные устройства; сочетайте её с одобренными альтернативами. См. тему 6.1 — Стратегия автоматизации.
Аналитика
Отслеживайте долю применений ИИ с владельцами и оценками, инциденты, жалобы, результаты тестов и срок рассмотрения. Предостережение: подсчёт выполненных оценок может поощрять бумажную работу; проверяйте выборку на качество и на то, работают ли меры контроля. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.
Типичные виды сбоев
- Нет перечня. Применения множатся незаметно. Стройте и обновляйте перечень.
- Единое рассмотрение для всех. Всё блокируется или ничто не рассматривается. Соразмеряйте рассмотрение с риском.
- Политика, которой никто не может следовать. Сотрудники её игнорируют. Пишите короткие правила с примерами и предоставляйте одобренные инструменты.
- Управление как бумага. Документы есть, а мер контроля нет. Проверяйте, что меры контроля работают.
- Доверие заявлениям вендоров. Условия и поведение не проверены. Спрашивайте, проверяйте и записывайте.
- Игнорирование затронутых людей. Предвзятость и вред остаются незамеченными. Проверяйте исходы по группам и предлагайте способ оспаривания.
- Ожидание юридической консультации от ИИ. Неверные резюме определяют решения. Пользуйтесь квалифицированными консультантами.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Перечень и владение | Применения неизвестны | Основные применения перечислены | Перечень с владельцами и уровнями риска | Перечень пересматривается и проверяется обнаружением | Перечень интегрирован с каталогом, закупками и мерами контроля |
| Риск и тестирование | От случая к случаю | Некоторые оценки | Соразмерная оценка и тестирование перед запуском | Результаты отслеживаются, по ним действуют | Непрерывное обеспечение уверенности по системам и поставщикам |
| Политика и данные | Нет | Черновик рекомендаций | Чёткая политика, одобренные инструменты и правила о данных | Соблюдение отслеживается и аудируется | Правила обеспечиваются инструментами и адаптируются к изменениям |
| Надзор и подотчётность | Неясны | Названный спонсор | Определённые роли, путь рассмотрения и человеческий надзор | Качество надзора проверяется выборочно | Управление координируется по предприятию и партнёрам |
Контрольный список
- Мы ведём перечень ИИ с владельцами и назначением.
- У каждого применения есть уровень риска, и рассмотрение соразмерно ему.
- Короткая политика охватывает данные, согласования и запрещённые применения.
- Существуют одобренные инструменты и быстрый путь рассмотрения.
- У применений повышенного риска есть записанная оценка риска и тесты, включая проверку на предвзятость.
- Условия вендоров о данных, тестировании и изменениях моделей записаны.
- Человеческий надзор определён и проверяется выборочно.
- Мы спросили юристов и специалистов по конфиденциальности о наших обязательствах.
Запросы к ИИ
Подготовьте черновик записи перечня по заметкам.
Here are notes on an AI use: [paste].
Draft an inventory entry with: purpose, owner (only if stated), vendor or model (only if stated), data used, people affected, decisions it influences, and proposed risk level with the reasons. Mark each item not in the notes as [missing]. Do not state legal obligations.
List what you are unsure of.
Подготовьте вопросы для вендора.
We are considering an AI product from a vendor for [use]. What we know of it: [paste].
Write 20 questions for the vendor about data use and retention, training on our data, testing for accuracy and bias, security, model changes, incident notification, and exit. Do not assume answers.
List what you are unsure of.
Структурируйте оценку риска для проверки.
AI use: [describe]. People affected: [list]. Decisions influenced: [list]. Current controls: [list].
Draft a risk assessment table with: harm, who is affected, likelihood and severity (marked as my estimate to be confirmed), existing controls, further controls to consider, and questions for the owner. Do not give legal conclusions.
List what you are unsure of.
ИИ-навыки
- risk-register: используйте, чтобы записывать риски ИИ, владельцев и решения.
- machine-learning-model-card: используйте, чтобы документировать назначение модели, данные, результативность и пределы.
- legal-data-privacy-compliance: используйте, чтобы сформулировать вопросы о конфиденциальности для вашего юриста.
- legal-compliance-audit: используйте, чтобы подготовить свидетельства и вопросы для аудита.
- data-governance: используйте, чтобы задать владение и правила для данных, используемых ИИ.
Ключевые источники
- NIST, AI Risk Management Framework: широко используемый добровольный фреймворк управления рисками ИИ.
- ISO/IEC 42001 (сам стандарт): требования к системе менеджмента ИИ; читайте текущую редакцию у издателя.
- Текст Закона Европейского союза об искусственном интеллекте и разъяснения ваших собственных регуляторов: авторитетные источники о юридических обязательствах.
- Wikipedia, "Regulation of artificial intelligence" и "Ethics of artificial intelligence": обзоры ландшафта.
Источники
- Regulation of artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Regulation_of_artificial_intelligence
- Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
- Ethics of artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Ethics_of_artificial_intelligence
- Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
- Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
- General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
- Privacy impact assessment — Wikipedia — https://en.wikipedia.org/wiki/Privacy_impact_assessment
- Governance, risk, and compliance — Wikipedia — https://en.wikipedia.org/wiki/Governance,_risk,_and_compliance
- Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management
- Red team — Wikipedia — https://en.wikipedia.org/wiki/Red_team
- Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework