Почему это важно

Изменения вызывают инциденты. Правка конфигурации, релиз кода, продление сертификата, правило файрвола: любое из них может остановить услугу. Большинство организаций узнают это на горьком опыте и отвечают контролем: формой, согласованием, совещанием, заморозкой. Контроль снижает часть риска и добавляет задержку, а задержка побуждает людей собирать изменения в более крупные партии, которые рискованнее.

Традиционная форма такого контроля — совет по изменениям (CAB), группа, рассматривающая предлагаемые изменения. Советы могут давать реальную ценность, когда привносят широкий взгляд в рискованные изменения. Они же становятся узким местом, когда рассматривают каждое изменение, включая рутинные, успешно выполнявшиеся тысячу раз. Исследование поставки программного обеспечения, изложенное в книге Accelerate Николь Форсгрен, Джеза Хамбла и Джина Кима, показало, что тяжёлое внешнее согласование не связано с лучшей стабильностью и связано с более медленной поставкой; рецензия коллег и автоматические проверки были связаны с лучшими результатами. Данные получены из опросов и имеют свои ограничения, но направление согласуется с опытом многих команд.

ITIL 4 переименовал практику в «обеспечение изменений» (change enablement), чтобы подчеркнуть, что цель — делать возможными полезные изменения, обеспечивая должную оценку рисков, разрешая изменениям продвигаться и управляя графиком изменений. Эта тема показывает, как это делать с разными маршрутами для разных видов изменений и как встроить свидетельства в работу. Она опирается на непрерывную поставку (тема 2.2 — Непрерывная поставка) и связана с управлением релизами (тема 3.5 — Управление релизами и развертыванием) и управлением конфигурациями (тема 4.4 — Управление конфигурациями).

Основные понятия

Изменение. В ITIL 4 — добавление, модификация или удаление чего угодно, что может прямо или косвенно повлиять на услуги. Охват широк: программы, инфраструктура, конфигурация, документы, поставщики и процессы. Идею в ИТ и инженерии описывают статьи Wikipedia об управлении изменениями и контроле изменений.

Обеспечение изменений и управление изменениями. «Управление изменениями» (change management) также используют для организационных изменений, то есть человеческой стороны трансформации (см. тему 8.3 — Организационные изменения и внедрение). «Обеспечение изменений» в ITIL относится к контролю изменений услуг и продуктов. Это руководство использует термин ITIL 4 для описанной здесь практики.

Виды изменений. ITIL 4 описывает три:

Вид Описание Типичный маршрут
Стандартное Малый риск, хорошо понятное, заранее санкционированное, повторяющееся Следует документированной процедуре; отдельное согласование не требуется
Обычное Требует оценки и санкционирования Оценивается и санкционируется подходящим органом изменений
Срочное Должно быть сделано срочно, например для восстановления услуги или устранения критической уязвимости Ускоренное санкционирование с последующим разбором

Орган изменений. Человек или группа, санкционирующие изменение. ITIL 4 подчёркивает, что полномочия должны возлагаться на уровень, соответствующий риску, что для малорисковых изменений часто означает коллегу или саму команду. Изменения с более высоким риском идут выше. Традиционную модель описывает статья Wikipedia о совете по изменениям.

Оценка риска. Оценка вероятности и влияния сбоя изменения. Факторы включают размер изменения, критичность услуги, число пользователей, проведённое тестирование, возможность отката и историю похожих изменений. Общие методы описывают статьи Wikipedia об оценке риска и управлении рисками. Простой последовательный контрольный список работает лучше сложной оценки, которой никто не доверяет.

График изменений. Календарь, показывающий запланированные изменения, чтобы видеть конфликты и столкновения с критическими деловыми периодами. Для команд, выпускающих релизы много раз в день, график сжимается до исключений, таких как периоды заморозки, и крупных изменений, требующих координации.

Рецензия коллег. Другой компетентный человек проверяет изменение до его внесения, как при проверке кода. Рецензию и проверку кода описывает Wikipedia. Она дешёвая, быстрая, привносит нужные знания и поддерживает разделение обязанностей там, где оно требуется.

Автоматические проверки в конвейере. Тесты, статический анализ, сканирование безопасности и проверки политик выполняются на каждое изменение, а конвейер записывает, что было запущено и каковы результаты. Это даёт лучшие свидетельства, чем совещание, поскольку последовательно и связано с фактическим изменением. Некоторые приёмы описывают статьи Wikipedia об автоматизации тестирования и статическом анализе программ. См. тему 6.4 — Конвейеры и автоматизированные изменения.

Разделение обязанностей. Контроль, при котором ни один человек не может единолично завершить рискованное действие, например требование, чтобы автор изменения не был единственным, кто его одобряет. Его могут требовать регулирование или аудит. Разделение обязанностей описывает Wikipedia. Конвейеры могут обеспечивать его, требуя второго рецензента и записывая обоих.

Откат и восстановление. Возможность отменить изменение или быстро двигаться вперёд снижает риск. Изменения данных труднее отменить, чем изменения кода. См. статью Wikipedia об откате в управлении данными.

Срочные изменения. Настоящим экстренным случаям нужна скорость. Определённый маршрут с названным органом, минимумом бумаг и разбором после не даёт «срочному» стать способом обхода процесса по умолчанию.

Свидетельства и аудит. Регулирование, такое как закон Сарбейнса — Оксли в США и подобные правила в других юрисдикциях, породило требования контроля изменений финансовых систем. Требования различаются по юрисдикциям и отраслям; проверьте, что применимо к вам, и спросите аудитора, какие свидетельства его устраивают. Это руководство не даёт юридических советов.

Как вписываются линзы. Обеспечение изменений — место, где гибкий темп встречает контроль. Гибкая практика предлагает небольшие частые изменения и раннее вовлечение заинтересованных сторон. ИИ может помогать оценивать риск и готовить описания изменений под проверкой. Автоматизация обеспечивает меры контроля конвейера. Аналитика показывает долю неудачных изменений и время выполнения.

Лучшие практики

  1. Классифицируйте изменения по виду и риску. Определите стандартные, обычные и срочные изменения с примерами для каждого. Регулярно пересматривайте классификацию и переводите изменения в «стандартные», когда свидетельства это поддерживают.
  2. Заранее санкционируйте стандартные изменения. Для повторяющихся малорисковых изменений один раз согласуйте процедуру с владельцем риска и позвольте командам выполнять их без отдельного согласования. Проверяйте долю их успеха.
  3. Размещайте полномочия близко к работе. Пусть рецензия коллег санкционирует малорисковые изменения. Эскалируйте изменения повышенного риска людям, понимающим услугу и её зависимости.
  4. Используйте совет для изменений, которым он нужен. Сохраните функцию совещательного органа для изменений высокого риска или затрагивающих многих. Готовьте материалы заранее и решайте быстро.
  5. Встраивайте контроль в конвейер. Требуйте тесты, сканирование и второго рецензента в инструментах и записывайте свидетельства автоматически. Показывайте аудиторам конвейер, а не электронную таблицу.
  6. Делайте изменения малыми. Разбивайте крупные изменения на меньшие шаги, которые можно выпускать и проверять отдельно. Меньшие изменения несут меньший риск и их легче откатывать.
  7. Планируйте путь назад. Требуйте плана отката или движения вперёд для каждого обычного изменения и репетируйте его для важных.
  8. Ведите видимый график. Показывайте запланированные изменения и периоды заморозки там, где их видят команды, и выделяйте конфликты с крупными событиями. Для частых небольших изменений показывайте только то, что требует координации.
  9. Определяйте срочные случаи и следите за ними. Запишите критерии и маршрут. Рассматривайте каждое срочное изменение после и спрашивайте, почему оно было необходимо и можно ли улучшить обычный маршрут.
  10. Учитесь на неудачных изменениях. Разбирайте изменения, вызвавшие инциденты, и корректируйте правила риска, тесты или контрольный список. Отслеживайте долю неудачных изменений и смотрите на её причины.

Вопросы для обсуждения с командой

Какие из наших согласований никогда не отклоняли и не меняли изменение и чего они стоят во времени? Вопрос проверяет, добавляют ли меры контроля ценность. Попросите данные за последние шесть месяцев. Вы можете найти шаги согласования без записанного эффекта. В продолжение спросите, какой риск закрывает каждый и мог ли бы его закрыть другой контроль.

Какие изменения мы делаем чаще всего и какие можно заранее санкционировать как стандартные? Перечислите десять первых по объёму. Ожидайте, что многие малорисковые и повторяющиеся. Привлеките владельца риска. В продолжение выберите два для пробы и договоритесь о критериях успеха.

Как мы решаем, каким изменениям нужна человеческая проверка и кто её выполняет? Критерии часто неявны. Спросите, что сделало бы изменение «рискованным» в нашем контексте. В продолжение составьте короткий контрольный список и опробуйте его на недавних изменениях.

Что наш аудитор принял бы как свидетельство того, что изменение протестировано, проверено и одобрено? Спросите аудитора напрямую, а не гадайте. Ожидайте, что записи из конвейера могут быть приемлемы, если показывают кто, что и когда. В продолжение договоритесь о выборке записей конвейера и попросите аудитора их рассмотреть.

Когда изменение в последний раз пошло не так и что в нашем процессе это допустило? Вопрос связывает практику с реальными сбоями. Ищите отсутствующие тесты, отсутствующий откат или плохую информацию. Избегайте обвинения человека. В продолжение договоритесь об одном контроле для добавления или улучшения.

Где ИИ мог бы помочь оценить риск изменения и что мы хотели бы проверить вручную? ИИ может прочитать описание изменения и похожие прошлые сбои и предложить факторы риска. Он также может упустить или выдумать. Спросите, кто владеет инструментом и как проверяются его предложения. В продолжение сравните оценки риска ИИ с исходами прошлых изменений.

На практике: пример управления услугами

ИТ-отдел региональной службы здравоохранения проводит еженедельный совет по изменениям, на котором присутствует около 20 человек и который рассматривает каждое изменение. Инженеры говорят, что ждут согласования до восьми дней; совет говорит, что он ловит проблемы. В системе медицинских карт пациентов в прошлом году было два инцидента из-за непроверенных изменений конфигурации, сделанных как «срочные», чтобы обойти совет.

Менеджер по изменениям анализирует записи за шесть месяцев: 640 изменений было рассмотрено, 590 одобрено как поданные, 38 возвращены из-за недостающей информации и 12 изменены или отклонены по существу. Из 590 41 вызвало инциденты, почти все среди изменений, сделанных также срочно. Менеджер предлагает три маршрута. Стандартные изменения, такие как добавление пользователя в группу или продление сертификата, следуют документированным процедурам и не требуют согласования. Обычные изменения систем, отнесённых к меньшему риску, рассматривает коллега из другой команды и проверяет конвейер. Изменения повышенного риска системы медицинских карт идут в меньший совет, собирающийся дважды в неделю и видящий только их.

Сотрудник по клинической безопасности просит свидетельств, что рецензия коллег происходит. Менеджер показывает отчёт конвейера, перечисляющий каждое изменение с именем рецензента, запущенными тестами и результатом. Сотрудник соглашается на шестимесячную пробу с ежемесячным разбором неудачных изменений.

Что изменилось: медианное время согласования падает с пяти дней до менее одного для большинства изменений, а использование «срочного» резко сокращается. Что остаётся трудным: некоторые устаревшие системы не могут запускать автоматические тесты, поэтому их изменениям по-прежнему нужны ручные проверки; рецензия коллег зависит от того, есть ли у инженеров время, а команды под давлением рецензируют поверхностно; а ежемесячный разбор находит два изменения, где у рецензента не было нужных знаний. Менеджер добавляет правило, что рецензентом должен быть тот, кто работал с системой.

Четыре перспективы

Команды продукта и поставки

Делайте изменения малыми, добавляйте тесты и планируйте откат. Работайте с практикой изменений над определением стандартных изменений и свидетельств конвейера. Относитесь к рецензии коллег как к настоящей проверке, а не подписи.

Команды услуг и эксплуатации

Помогайте оценивать эксплуатационный риск, ведите график и делитесь знаниями о зависимостях. Разбирайте неудачные изменения вместе с командами и держите срочные изменения редкими и рассмотренными.

Руководство и управление

Делегируйте полномочия по риску, просите свидетельства из конвейера и не требуйте совещания для рутинных изменений. Защищайте время на рецензию коллег. Рассматривайте число срочных изменений.

Клиенты и пользователи

Вы должны узнавать об изменениях, которые вас затрагивают, с достаточным предупреждением и чётким описанием. Сообщайте поставщику о периодах, когда изменения для вас рискованны. Своевременно сообщайте о проблемах после изменения.

Agile, ИИ, автоматизация и аналитика

Agile

Небольшие частые изменения с информированными заинтересованными сторонами безопаснее крупных редких. Привлекайте эксплуатацию и владельцев риска к проектированию маршрутов изменений и улучшайте их с обратной связью. Предостережение: не отказывайтесь от контроля во имя гибкости; заменяйте его лучшим.

ИИ

ИИ может помогать составлять описания изменений, предлагать факторы риска на основе похожих прошлых изменений и проверять описания на недостающую информацию, а за решение отвечает человек. Предостережение: оценку риска от ИИ могут принять за авторитет; показывайте её как предложение и отслеживайте, как часто она оказывалась верной. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.

Автоматизация

Автоматизируйте проверки конвейера, фиксацию свидетельств, обнаружение конфликтов графика и выполнение стандартных изменений, с журналами и откатом. Предостережение: автоматическое одобрение изменений хорошо ровно настолько, насколько хороши его правила; пересматривайте правила и проверяйте выборку одобренных изменений. См. тему 6.4 — Конвейеры и автоматизированные изменения.

Аналитика

Отслеживайте объём изменений по видам, время выполнения, долю неудачных изменений и срочные изменения и смотрите на причины сбоев. Предостережение: низкая доля сбоев может быть следствием незаписи сбоев, а число одобрений можно подтасовать дроблением или объединением изменений; сверяйте с данными об инцидентах. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.

Типичные виды сбоев

  • Одинаковое рассмотрение каждого изменения. Рутинные изменения ждут. Классифицируйте по риску и заранее санкционируйте стандартные изменения.
  • Совет без свидетельств. Члены одобряют то, что не могут оценить. Готовьте информацию и отправляйте только изменения, требующие суждения.
  • Срочное как обход. Срочность объявляют, чтобы избежать проверки. Определите её и рассматривайте каждое использование.
  • Поверхностная рецензия коллег. Подпись без чтения. Требуйте квалифицированного рецензента и проверяйте выборку рецензий.
  • Отказ от контролей без замены. Сбои растут, аудиторы возражают. Достигайте цели каждого контроля в конвейере.
  • Нет плана отката. Неудачное изменение затягивает инцидент. Требуйте и репетируйте восстановление.
  • Подсчёт одобренных изменений как успех. Объём растёт, а качество нет. Отслеживайте сбои и вызванные инциденты.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Виды изменений и полномочия Один маршрут для всего Есть срочный маршрут Определены стандартные, обычные и срочные с полномочиями по риску Маршруты пересматриваются по данным Маршруты автоматически адаптируются по риску по услугам
Свидетельства Формы и совещания Некоторые записи из инструментов Записи конвейера для большинства изменений Свидетельства выборочно проверяются и аудируются Свидетельства непрерывны по инструментам и поставщикам
Оценка риска Интуиция Неформальный контрольный список Последовательный контрольный список и критерии Критерии настраиваются по данным о сбоях Риск оценивается данными и автоматизацией с проверкой человеком
Обучение Обвинение Редкие разборы Неудачные изменения разбираются с действиями Причины сбоев отслеживаются и сокращаются Обучение распространяется по командам

Контрольный список

  • У нас есть стандартные, обычные и срочные виды изменений с примерами.
  • Стандартные изменения заранее санкционированы с документированной процедурой.
  • Полномочия для каждого вида соответствуют риску.
  • Рецензию коллег выполняет тот, у кого есть нужные знания.
  • Меры контроля конвейера записывают тесты, рецензентов и результаты.
  • У каждого обычного изменения есть план отката или движения вперёд.
  • Срочные изменения рассматриваются после.
  • Мы отслеживаем долю неудачных изменений и учимся на неудачных изменениях.

Запросы к ИИ

Проверьте описание изменения на пробелы.

Here is a draft change description: [paste]. Our required fields are: [list].
List which required fields are missing or unclear, and list five questions a reviewer would ask. Do not rewrite the change or rate its risk.
List what you are unsure of.

Поищите закономерности в неудачных изменениях.

Below is a list of changes that caused incidents, with dates, type, size, whether tested, and whether rolled back: [paste list, names removed].
List common features across them and questions to investigate. Do not infer causes beyond the data.
List what you are unsure of.

Предложите кандидатов в стандартные изменения.

Here are our most frequent changes in the last six months, with counts and failure counts: [paste data].
List which look like candidates for pre-authorization, with the data you used and the questions we should ask the risk owner. Do not claim any is safe.
List what you are unsure of.

ИИ-навыки

  • change-request: используйте, чтобы спроектировать понятную лёгкую запись об изменении.
  • enterprise-change-management: используйте для организационной стороны изменений.
  • risk-register: используйте, чтобы записывать и рассматривать риски изменений.
  • compliance-testing: используйте, чтобы сверять свидетельства с требованиями контроля.
  • security-testing: используйте, чтобы планировать проверки безопасности для конвейера.

Ключевые источники

  • Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018): исследование практик поставки, включая согласование изменений.
  • DORA (dora.dev): текущие исследования и отчёты о результативности поставки программного обеспечения.
  • PeopleCert, ITIL certification pages: описание практики обеспечения изменений от владельца.
  • Wikipedia, "Change management" и "Change control": обзоры идей.

Источники

  1. Change management — Wikipedia — https://en.wikipedia.org/wiki/Change_management
  2. Change control — Wikipedia — https://en.wikipedia.org/wiki/Change_control
  3. Change-advisory board — Wikipedia — https://en.wikipedia.org/wiki/Change-advisory_board
  4. Risk assessment — Wikipedia — https://en.wikipedia.org/wiki/Risk_assessment
  5. Peer review — Wikipedia — https://en.wikipedia.org/wiki/Peer_review
  6. Code review — Wikipedia — https://en.wikipedia.org/wiki/Code_review
  7. Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
  8. Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
  9. Static program analysis — Wikipedia — https://en.wikipedia.org/wiki/Static_program_analysis
  10. Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
  11. DORA research — DevOps Research and Assessment — https://dora.dev/research/