Почему это важно

Организации редко принимают ИИ по плану. Одна команда покупает инструмент, другая создаёт прототип, вендор включает функцию. Каждое решение разумно локально. Вместе они образуют хозяйство, которое никто не проектировал: дублирующие инструменты, несогласованные меры контроля, неясное владение и затраты, всплывающие в счетах. Когда что-то идёт не так, никто не знает, кто отвечает. Когда что-то идёт хорошо, никто не может это повторить.

Операционная модель — ответ на вопрос «как мы работаем с ИИ как организация?». Она описывает роли и ответственность, как принимаются решения, как финансируется работа, как системы создаются или покупаются и поддерживаются в работе и как люди учатся. Она не обязана быть большой. Модель небольшой организации может уместиться на странице. Важно, чтобы у вопросов были ответы.

Потребность острее для ИИ, чем для многих других технологий, потому что системы ИИ меняются: модели обновляются вендорами, данные смещаются, поведение дрейфует. Им нужна постоянная забота, а её обеспечивает продуктовая команда, а не проект, завершающийся запуском. Эта тема описывает основные элементы операционной модели ИИ и сопутствующие навыки. Она опирается на владение продуктом (тема 2.8 — Владение продуктом и услугой), управление ИИ (тема 5.6 — Управление ИИ, риски и соответствие) и финансовое управление (тема 4.5 — Финансовое управление и FinOps) и связана с организационными изменениями (тема 8.3 — Организационные изменения и внедрение).

Основные понятия

Операционная модель. Описание того, как организация поставляет ценность: её структура, процессы, люди, технологии и управление. Операционные модели описывает Wikipedia. Операционная модель ИИ — часть, охватывающая то, как ИИ выбирается, финансируется, создаётся или покупается, эксплуатируется, управляется и улучшается.

ИИ как продукт. У системы ИИ есть пользователи, назначение, бэклог, стоимость и жизненный цикл. Относитесь к ней как к продукту с владельцем, как описано в теме 2.8 — Владение продуктом и услугой. Владелец отвечает за результаты, данные, качество и риск и за решение, когда улучшать или выводить.

Жизненный цикл. Этапы включают выявление возможности, оценку ценности и риска, создание или покупку, тестирование, развёртывание, эксплуатацию и мониторинг, улучшение и вывод. Операции машинного обучения (MLOps), описанные в Wikipedia, применяют инженерную дисциплину к жизненному циклу моделей: версионирование, развёртывание, мониторинг и переобучение. Для моделей вендоров те же этапы применимы с меньшим числом технических частей и большим весом договора и мониторинга.

Роли. Типичные роли включают исполнительного спонсора, владельца продукта ИИ для каждой системы, инженеров, создающих и эксплуатирующих её, владельцев данных, которые она использует, партнёра по безопасности и конфиденциальности, юридического консультанта и людей, которые ею пользуются и на кого она влияет. Небольшие команды совмещают роли. Назовите их и сделайте ясным, кто решает.

Поддерживающая команда или центр компетенций. Небольшая группа, помогающая другим командам хорошо использовать ИИ: она предлагает рекомендации, шаблоны, одобренные инструменты, обучение и рассмотрение для применений повышенного риска. Центры компетенций описывает Wikipedia. Риск в том, что она становится узким местом или шлагбаумом. Хорошая делает безопасный путь лёгким и работает с командами, а не для них.

Центральная, федеративная и встроенная модели. В центральной модели одна команда создаёт и эксплуатирует ИИ для всех. Во встроенной каждая продуктовая команда делает своё. Федеративная модель сочетает общие платформы и стандарты с локальным владением. Большинство организаций приходит к федеративной смеси. Выбирайте по масштабу использования, доступным навыкам и риску.

Создать, купить или настроить. Каждое применение ИИ можно создать самим, купить как продукт или собрать из модели и ваших данных. Решения «создать или купить» как форму анализа затрат и выгод описывает Wikipedia. Учитывайте совокупную стоимость, риск зависимости от вендора, контроль данных, скорость и нужные навыки. См. тему 3.14 — Управление поставщиками.

Финансирование. Финансируйте системы ИИ как продукты с постоянными командами там, где они важны, а не как разовые проекты. Включайте эксплуатационные затраты: плату за использование, размещение, мониторинг и поддержку. Отслеживайте стоимость на сценарий и на результат. См. тему 4.5 — Финансовое управление и FinOps.

Платформы и общие услуги. Общие компоненты, такие как одобренный шлюз моделей, библиотека запросов и навыков, среда оценки, каталог данных и журналирование, сокращают дублирование усилий и облегчают контроль. См. тему 5.7 — ИИ-навыки и промпты.

Основы данных. ИИ зависит от данных, которые точны, доступны и управляемы. Многие инициативы ИИ застревают на данных, а не на моделях. См. тему 7.2 — Основы данных и управление данными.

Навыки и способности. Людям нужен диапазон навыков: понимание того, что ИИ может и не может (часто называемое грамотностью в области ИИ, формой цифровой грамотности, которую описывает Wikipedia), написание ясных запросов и проверка результатов, оценка риска, создание и тестирование систем и управление данными. Разным ролям нужна разная глубина. Повышение квалификации и переобучение как подходы к развитию навыков описывает Wikipedia.

Обучение через действие. Навыки растут больше всего от практики на реальной работе с обратной связью, поддерживаемой коротким обучением и примерами. Сообщества практики, описанные в Wikipedia, помогают делиться тем, что работает. Объединяйте в пары опытных и новых пользователей. См. тему 8.5 — Пути обучения и сертификация.

Влияние на людей и роли. ИИ меняет задачи, а в некоторых ролях — число необходимых людей. Технологическую безработицу как давно обсуждаемую заботу описывает Wikipedia. Будьте честны с сотрудниками о намерениях, привлекайте их к проектированию и планируйте перераспределение и переобучение. См. тему 8.3 — Организационные изменения и внедрение.

Ценность и результаты. Определите результат, который должна улучшать каждая система ИИ, например время решения, качество или удовлетворённость пользователей, с базовой линией и способом измерения. Рентабельность инвестиций и её пределы описывает Wikipedia. Остерегайтесь оценок экономии, считающих «сэкономленное» время, которое никогда не перераспределяется.

Стандарты и обеспечение уверенности. Фреймворки, такие как ISO/IEC 42001 и NIST AI Risk Management Framework, описывают элементы системы менеджмента, которые должна охватывать операционная модель. См. тему 5.6 — Управление ИИ, риски и соответствие.

Пилоты и масштабирование. Проверки концепции дёшевы и часто впечатляют. Проблемы проявляются при масштабировании: качество данных, интеграция, безопасность, стоимость и поддержка. Проверки концепции описывает Wikipedia. Планируйте переход от пилота к эксплуатации с самого начала, включая то, кто будет его эксплуатировать.

Как вписываются линзы. Операционная модель организует линзу ИИ. Гибкая практика предлагает постоянные продуктовые команды и короткие пилоты. Автоматизация и аналитика — соседи: автоматизация действует по выходам ИИ, а аналитика даёт данные и показатели.

Лучшие практики

  1. Относитесь к каждой важной системе ИИ как к продукту. Назовите владельца, команду, бэклог, бюджет и жизненный цикл, включая вывод. Регулярно пересматривайте ценность и риск каждой системы.
  2. Запишите роли и права принятия решений. Скажите, кто спонсирует, кто владеет каждой системой, кто одобряет применения повышенного риска и кто может остановить одно из них. Уложитесь в страницу.
  3. Создайте небольшую поддерживающую команду. Дайте ей мандат предоставлять рекомендации, инструменты, обучение и рассмотрение и измеряйте её по тому, насколько она помогает командам, а не по числу шлагбаумов.
  4. Выбирайте «создать, купить или настроить» по свидетельствам. Сравнивайте совокупную стоимость, риск, контроль данных, скорость и навыки для каждого случая. Записывайте решение и пересматривайте при изменении обстоятельств.
  5. Финансируйте эксплуатационные затраты с самого начала. Закладывайте в бюджет плату за использование, мониторинг, поддержку и улучшение, а не только создание. Отслеживайте стоимость на сценарий и на результат.
  6. Предоставляйте общие платформы. Предлагайте одобренные инструменты и общие услуги для доступа, журналирования, оценки, запросов и навыков. Делайте одобренный путь быстрее обходного.
  7. Вкладывайтесь в данные. Назовите владельцев данных, исправьте проблемы качества, блокирующие сценарии, и документируйте источники. Начните с данных, нужных первым сценариям.
  8. Развивайте навыки по ролям. Предлагайте короткое практическое обучение всем, более глубокое — создателям и владельцам и время для практики на реальных задачах. Создайте места для обмена тем, что работает.
  9. Будьте честны о людях. Скажите, что вы намерены делать с ролями и штатами, привлекайте сотрудников к проектированию новых способов работы и поддерживайте тех, чья работа меняется.
  10. Планируйте путь от пилота к эксплуатации. Перед пилотом решите, что такое успех, кто будет его эксплуатировать, какие меры контроля нужны и сколько он будет стоить в масштабе. Останавливайте пилоты, не способные пройти эти проверки.

Вопросы для обсуждения с командой

Кто владеет каждой используемой нами системой ИИ и кто решает, когда менять её или остановить? Используйте перечень. Ожидайте пробелов. В продолжение назначьте владельцев и запишите права принятия решений для трёх важнейших систем.

Что мы хотим от центральной группы по ИИ и что должно остаться за каждой командой? Обсудите помощь и контроль. Ожидайте разных мнений у тех, кто хочет стандартов, и тех, кто хочет скорости. В продолжение перечислите три услуги, которые должна предоставлять группа.

Для нашей последней покупки или создания ИИ сравнивали ли мы варианты и что решили бы сегодня? Посмотрите запись решения. Ожидайте малого. В продолжение договоритесь о коротком шаблоне для решений «создать, купить или настроить».

Каковы текущие затраты наших применений ИИ и кто их платит? Попросите числа. Ожидайте неизвестного, особенно платы за использование. В продолжение выберите один сценарий и постройте оценку стоимости.

Какие навыки нужны людям, чтобы хорошо использовать ИИ в своей работе, и как они их получат? Спросите по ролям. Ожидайте пробелов в проверке и понимании пределов. В продолжение запланируйте практическую сессию на реальных задачах.

Что мы сказали сотрудникам о том, как ИИ изменит их работу, и верят ли они? Спросите сотрудников напрямую. Ожидайте тревоги. В продолжение договоритесь, что руководители могут сказать честно и что сделают для поддержки людей.

На практике: пример управления услугами

В национальном агентстве охраны окружающей среды 30 применений ИИ, разбросанных по подразделениям: чат-помощники, модель, отмечающая необычные показания датчиков, инструмент, резюмирующий ответы на консультации, и несколько пилотов исследовательских групп. Новый директор по цифровым технологиям обнаруживает, что три подразделения платят за похожие службы транскрипции, что два пилота идут больше года без решения и что никто не может сказать, сколько агентство тратит на ИИ.

Она формирует небольшую поддерживающую команду из четырёх человек из ИТ, данных, безопасности и юридического отдела. Её первая задача — перечень, завершённый за месяц. Вторая — одностраничная операционная модель: у каждого применения ИИ есть названный владелец в бизнесе; поддерживающая команда предоставляет одобренный шлюз моделей с журналированием, библиотеку рассмотренных запросов и навыков и рассмотрение риска для применений среднего и высокого риска в течение десяти рабочих дней; а ежеквартальное портфельное совещание решает, какие пилоты масштабировать, изменить или остановить.

Портфельное совещание останавливает пять пилотов, у которых нет владельца или показателя, и объединяет три договора на транскрипцию в один. Для модели аномалий датчиков, поддерживающей решения об оповещениях о загрязнении, владелец заказывает проверку качества данных и настраивает мониторинг дрейфа. Финансирование двух самых ценных систем переходит с проектных бюджетов на ежегодный бюджет команды, включая плату за использование.

В области навыков команда предлагает двухчасовую практическую сессию для всех сотрудников по безопасному использованию ИИ и более длинный курс для 40 человек, создающих или владеющих системами. Ежемесячно собирается сообщество практики. Профсоюз сотрудников спрашивает, что ИИ означает для рабочих мест; директор по цифровым технологиям письменно обязуется, что программа не будет использована для сокращения должностей в течение двух лет и что экономия времени пойдёт на бэклог инспекционной работы.

Что изменилось: у агентства один перечень, ясные владельцы и одно место, чтобы просить помощи. Что остаётся трудным: некоторые исследовательские группы видят путь рассмотрения как тормоз и по-прежнему используют неформальные инструменты; затраты на использование выше оценённых для двух систем, а бюджет не скорректировали; а обязательство по рабочим местам ограничивает варианты, которые финансисты хотели бы сохранить. Директор по цифровым технологиям ежеквартально пересматривает скорость маршрута и бюджет.

Четыре перспективы

Команды продукта и поставки

Владейте своими системами ИИ как продуктами: бэклог, мониторинг, затраты и вывод. Используйте общие платформы и одобренную библиотеку. Рано просите помощи у поддерживающей команды.

Команды услуг и эксплуатации

Участвуйте в эксплуатации систем ИИ и сообщайте, что видите. Учитесь проверять выходы и сообщайте владельцам о дрейфе и ошибках. Пользуйтесь общими инструментами.

Руководство и управление

Спонсируйте модель, назначайте владельцев и финансируйте постоянные команды и эксплуатационные затраты. Просите портфельный вид с ценностью и риском. Будьте честны с сотрудниками о влиянии на роли.

Клиенты и пользователи

Вы должны знать, кто отвечает за систему ИИ, которая на вас влияет, и как поднять вопрос. Спросите, как ваша обратная связь доходит до владельца.

Agile, ИИ, автоматизация и аналитика

Agile

Ведите продукты ИИ с постоянными командами, короткими циклами и регулярным рассмотрением с пользователями и заинтересованными сторонами. Относитесь к самой операционной модели как к тому, что улучшается небольшими шагами. Предостережение: избегайте запуска большой программы ИИ с фиксированным планом; начните с нескольких сценариев и учитесь.

ИИ

Эта тема об управлении самим ИИ: владельцы, жизненный цикл, финансирование и навыки. ИИ может помогать с портфельным анализом и документацией под проверкой. Предостережение: поддерживающая команда, которая одобряет всё или ничего, теряет доверие; соразмеряйте рассмотрение с риском. См. тему 5.6 — Управление ИИ, риски и соответствие.

Автоматизация

Автоматизируйте питание перечня, отчётность по затратам, журналирование и проверки политик в общей платформе, чтобы безопасный путь был ещё и лёгким. Предостережение: автоматизация, блокирующая использование без одобренной альтернативы, толкает людей к теневым инструментам. См. тему 6.1 — Стратегия автоматизации.

Аналитика

Отслеживайте портфель: число применений, владельцев, стоимость на сценарий, показатели ценности, инциденты, сроки рассмотрения и охват навыками. Предостережение: подсчёт проектов ИИ или обученных сотрудников поощряет активность, а не результаты; сочетайте с показателями ценности и качества. См. тему 7.3 — Измерение и отчётность и книгу Service Management Metrics.

Типичные виды сбоев

  • Разрастание инструментов. Каждая команда покупает своё. Ведите перечень и консолидируйте.
  • Системы без владельцев. Никто не сопровождает и не останавливает их. Назовите владельцев и пересматривайте портфель.
  • Проекты вместо продуктов. Команды распускаются после запуска. Финансируйте постоянные команды для важных систем.
  • Центр-привратник. Поддерживающая команда блокирует работу. Сделайте её услугой со сроками отклика.
  • Эксплуатационные затраты игнорируются. Плата за использование удивляет бюджет. Включайте её с самого начала.
  • Обучение без практики. Курсы посещают, а привычки не меняются. Практикуйтесь на реальных задачах.
  • Молчание о рабочих местах. Распространяется страх. Скажите о своих намерениях и привлекайте сотрудников.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Владение и роли Неясны Энтузиасты Названные владельцы и права принятия решений для каждой системы Роли пересматриваются по результатам Роли координируются по предприятию и партнёрам
Финансирование и жизненный цикл Проектные деньги Некоторое финансирование эксплуатации Постоянное финансирование ключевых систем, определён жизненный цикл Стоимость и ценность регулярно пересматриваются Портфель финансируется и перебалансируется по ценности и риску
Платформа и поддержка Отдельные инструменты Общие рекомендации Одобренная платформа, библиотека и услуга рассмотрения Использование и удовлетворённость измеряются Платформа интегрирована с управлением и автоматизацией
Навыки От случая к случаю Обучение осведомлённости Обучение по ролям с практикой Навыки отслеживаются относительно потребностей Навыки планируются по рабочей силе с поддержкой изменений

Контрольный список

  • У каждой важной системы ИИ есть названный владелец продукта.
  • Роли и права принятия решений записаны на одной странице.
  • Небольшая поддерживающая команда предоставляет инструменты, рекомендации и рассмотрение.
  • Решения «создать, купить или настроить» записаны.
  • Эксплуатационные затраты заложены в бюджет и отслеживаются по сценариям.
  • Общие услуги платформы делают одобренный путь лёгким.
  • Обучение построено по ролям и включает практику на реальных задачах.
  • Мы честно рассказали сотрудникам, как ИИ повлияет на их работу.

Запросы к ИИ

Сравните «создать», «купить» и «настроить».

Our use case: [describe]. Our constraints: [data sensitivity, skills, budget, timeline]. Options: [list].
Draft a comparison table with criteria (total cost over three years, data control, speed, risk of dependency, skills needed, ability to change) and for each option what we know and what we do not know from my description. Do not choose an option or invent costs.
List what you are unsure of.

Подготовьте черновик одностраничной операционной модели для обсуждения.

Our organization: [type, size]. Our AI uses today: [list]. Our governance bodies: [list].
Draft a one-page operating model with roles, decision rights, funding approach, how AI is built or bought, how risk review works, and how skills are built. Mark every assumption and leave [blank] where my description gives no basis.
List what you are unsure of.

Спланируйте навыки по ролям.

Roles in our team: [list with what each does]. AI uses planned: [list].
For each role, list the skills needed (use of AI, checking outputs, risk, building, data), one practice activity on real work, and one way to see that the skill has grown. Do not name courses or vendors.
List what you are unsure of.

ИИ-навыки

  • portfolio-management: используйте, чтобы рассматривать портфель ИИ по ценности и риску.
  • mlops: используйте, чтобы управлять моделями на протяжении жизненного цикла.
  • training-needs-analysis: используйте, чтобы определить, какие навыки нужны каждой роли.
  • raci-matrix: используйте, чтобы прояснить роли и права принятия решений.
  • roi-analysis: используйте, чтобы взвешивать затраты и выгоды применений ИИ.

Ключевые источники

  • NIST, AI Risk Management Framework: структура, включающая управление и организационные роли.
  • ISO/IEC 42001 (сам стандарт): требования системы менеджмента для ИИ; читайте текущую редакцию у издателя.
  • Marty Cagan, Empowered (2020): о продуктовых командах и о том, как организации их поддерживают.
  • Wikipedia, "MLOps" и "Operating model": обзоры жизненного цикла и понятия.

Источники

  1. Operating model — Wikipedia — https://en.wikipedia.org/wiki/Operating_model
  2. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
  3. Center of excellence — Wikipedia — https://en.wikipedia.org/wiki/Center_of_excellence
  4. Product management — Wikipedia — https://en.wikipedia.org/wiki/Product_management
  5. Cost–benefit analysis — Wikipedia — https://en.wikipedia.org/wiki/Cost%E2%80%93benefit_analysis
  6. Digital literacy — Wikipedia — https://en.wikipedia.org/wiki/Digital_literacy
  7. Community of practice — Wikipedia — https://en.wikipedia.org/wiki/Community_of_practice
  8. Technological unemployment — Wikipedia — https://en.wikipedia.org/wiki/Technological_unemployment
  9. Return on investment — Wikipedia — https://en.wikipedia.org/wiki/Return_on_investment
  10. Proof of concept — Wikipedia — https://en.wikipedia.org/wiki/Proof_of_concept
  11. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework