Почему это важно

Дни запуска стрессовы, потому что слишком многое происходит одновременно. Устанавливается новый код, включаются новые функции, пользователи сталкиваются с ними впервые, а служба поддержки узнаёт о них из первой жалобы. Если что-то идёт не так, всё это перепутано, и единственный путь назад может быть откатом, отменяющим всё.

Команды, разделяющие развёртывание и релиз, избегают большей части этого. Код тихо попадает в эксплуатацию выключенным за дни до того, как его увидят пользователи. Когда команда готова, переключатель включает функцию для небольшой группы, затем для большего числа. Если что-то не так, переключатель выключает её за секунды. Развёртывание — техническое действие — происходит по графику инженеров. Релиз — действие деловое и для клиентов — происходит, когда готова организация.

Эта тема объясняет обе идеи, поддерживающие их приёмы и практики, держащие в курсе пользователей, сотрудников поддержки и аудиторов. Она опирается на непрерывную поставку (тема 2.2 — Непрерывная поставка) и обеспечение изменений (тема 3.4 — Обеспечение изменений) и связана с управлением конфигурациями (тема 4.4 — Управление конфигурациями) и управлением знаниями (тема 3.9 — Управление знаниями).

Основные понятия

Развёртывание. Действие по перемещению программ, конфигурации или других компонентов в среду, такую как тестовая или производственная. Связанные виды деятельности описывает статья Wikipedia о развёртывании программного обеспечения. Развёртывание — техническая операция, помещающая что-то туда, где оно может работать.

Релиз. Предоставление услуги, функции или версии для использования. Релиз может произойти в тот же момент, что и развёртывание, или позже. ITIL 4 описывает «управление релизами» как практику предоставления новых и изменённых услуг и функций для использования, а «управление развёртыванием» — как перемещение компонентов в действующие среды.

Зачем их разделять. Риск развёртывания — в том, запускается ли код и ведёт ли себя как надо. Риск релиза — в том, готовы ли пользователи, поддержка и бизнес. Выполнение в разное время позволяет управлять каждым риском с нужными людьми и инструментами.

Переключатели функций (feature flags). Их также называют feature toggles: это переключатели в коде или системе управления, включающие или выключающие функцию во время работы без нового развёртывания. Переключатели и их использование описывает Wikipedia. Переключатели бывают для пользователя, группы, доли трафика или глобальными. Они требуют осторожности: старые переключатели копятся и становятся скрытой сложностью.

Поэтапное выкатывание. Выпуск сначала небольшой группе и постепенное расширение. Варианты включают сначала внутренних пользователей, небольшой процент трафика, один регион или пилотного клиента. Каждый этап даёт обратную связь, прежде чем подвергать воздействию больше людей.

Сине-зелёное и скользящее развёртывание. При сине-зелёном развёртывании существуют две производственные среды; одна обслуживает пользователей, пока другая получает новую версию, и трафик переключается, когда всё готово, с быстрым обратным переключением при необходимости. При скользящем развёртывании экземпляры обновляются по несколько за раз. Оба описывает Wikipedia. У каждого есть компромиссы в стоимости, сложности и работе с данными.

Готовность к релизу. Короткий набор вопросов, на которые отвечают до релиза: проходят ли тесты; охватывает ли мониторинг новое поведение; знают ли сотрудники поддержки, что изменилось и как помогать; готовы ли документация и статьи базы знаний; есть ли план отката; и согласовал ли бизнес дату. Держите его кратким и привязанным к реальному риску.

Примечания к выпуску. Описание того, что изменилось, написанное для тех, кому нужно знать. Разным аудиториям нужны разные примечания: пользователи хотят знать, что нового или иного; сотрудники поддержки — чего ожидать; эксплуатация — что изменилось технически. Распространённые формы описывают статьи Wikipedia о примечаниях к выпуску и журналах изменений.

Версионирование. Схема именования версий, чтобы люди могли о них говорить. Семантическое версионирование — одна популярная схема, описанная в статье Wikipedia о версионировании программного обеспечения — использует мажорный, минорный номера и номер исправления, чтобы обозначать вид изменения. Выберите схему и применяйте последовательно.

Изменения данных. Изменения структуры и данных базы труднее отменить, чем изменения кода. Шаблоны вроде обратной совместимости изменений, параллельной работы старых и новых структур и миграции небольшими шагами снижают риск. Миграцию схемы описывает Wikipedia.

Срочные исправления и патчи. Срочные исправления, вносимые вне обычного цикла, обычно для устранения серьёзной неисправности или уязвимости. Им нужен ускоренный маршрут с той же дисциплиной: тест, рецензия, развёртывание через конвейер и запись. См. тему 3.4 — Обеспечение изменений.

Среды. Тестовая, промежуточная и производственная среды, у каждой своё назначение. Чем ближе тестовые среды к производственной, тем надёжнее тесты. Распространённые варианты описывает статья Wikipedia о средах развёртывания.

Цепочка поставки программного обеспечения. Релизы включают компоненты от других сторон, такие как библиотеки и образы контейнеров. Спецификация программных компонентов (software bill of materials) перечисляет их, что помогает реагировать на уязвимости. См. тему 4.2 — Управление программными активами.

Как вписываются линзы. Практика релизов — гибкая линза в точке контакта с пользователями: небольшие релизы с обратной связью. ИИ может готовить черновики примечаний к выпуску и резюмировать изменения под проверкой. Автоматизация запускает конвейер и выкатывание. Аналитика показывает, как ведёт себя релиз.

Лучшие практики

  1. Развёртывайте небольшими частями и часто. Помещайте изменения в эксплуатацию небольшими порциями, при необходимости за переключателями. Частое развёртывание делает каждое малорисковым и рутинным.
  2. Выпускайте релиз осознанно. Решайте вместе с бизнесом, когда пользователи должны увидеть функцию, и управляйте этим переключателем или поэтапным выкатыванием. Не позволяйте графику развёртывания диктовать релиз.
  3. Выкатывайте поэтапно. Начинайте с небольшой информированной группы, наблюдайте показатели и расширяйте. Заранее определите, на что вы будете смотреть и что заставит вас остановиться.
  4. Держите переключатели в порядке. Записывайте назначение, владельца и дату удаления каждого переключателя. Удаляйте переключатели после выкатывания. Тестируйте оба состояния, пока переключатель существует.
  5. Сделайте путь назад быстрым. Знайте, как выключить переключатель, откатиться или переключиться на резерв, и репетируйте это. Для изменений данных планируйте шаги с прямой совместимостью.
  6. Готовьте поддержку до релиза. Дайте service desk примечания к выпуску, короткое руководство и известные проблемы до того, как пользователи увидят изменение. Спросите, что им нужно.
  7. Пишите примечания для их читателей. Говорите, что изменилось, в терминах пользователя, чего ожидать и где получить помощь. Техническую детализацию держите в отдельной заметке.
  8. Кратко проверяйте готовность. Используйте короткий единый контрольный список для значимых релизов. Пропускайте его для рутинных, охваченных конвейером.
  9. Наблюдайте за релизом. Отслеживайте частоту ошибок, производительность и показатели для пользователей во время и после выкатывания и назначьте того, кто наблюдает. Записывайте, что видели.
  10. Записывайте, что было выпущено. Ведите запись версий, дат и состояний переключателей, что помогает при инцидентах и аудитах. Формируйте её из конвейера, где можете.

Вопросы для обсуждения с командой

В чём разница между развёртыванием и релизом в нашей организации и кто решает каждое? Во многих командах это одно событие. Спросите, кто решает поместить код в эксплуатацию и кто решает, когда пользователи его увидят. Ожидайте размытых ответов. В продолжение выберите одну функцию для разделения.

Как быстро мы могли бы выключить новую функцию, если бы она причиняла вред? Проверьте ответ. Некоторые команды могут выключить переключатель за секунды; другим нужно новое развёртывание и согласование. Спросите, когда это было в последний раз. В продолжение выберите одну рискованную функцию и запланируйте быстрый выключатель.

Что наша служба поддержки знает о релизе, прежде чем пользователи его увидят? Спросите service desk. Ожидайте «ничего до первого звонка». В продолжение договоритесь о стандартном пакете информации и сроке, например за 48 часов.

Какие у нас есть переключатели функций и какие должны исчезнуть? Список переключателей часто показывает много тех, о которых никто не помнит. Спросите, кто владеет каждым. В продолжение запланируйте удаление самых старых и добавьте поле владельца.

Как мы выпускаем изменение, затрагивающее базу данных, и что произойдёт, если нужно вернуться? Изменения данных вызывают худшие сюрпризы. Спросите последнюю миграцию и её план отката. В продолжение договоритесь о шаблоне, например изменениях с обратной совместимостью в два шага.

Где ИИ мог бы помочь с примечаниями к выпуску или готовностью и что должен проверить человек? ИИ может готовить примечания по сообщениям коммитов и обращениям. Он может неверно изложить, что изменилось. Спросите, кто читает черновик и сравнивает его с изменением. В продолжение опробуйте черновики ИИ для внутренних примечаний с утверждением каждого человеком.

На практике: пример управления услугами

Онлайн-каталогом национальной библиотеки пользуются исследователи по всему миру. Команда выпускает обновлённую страницу поиска. Раньше такое изменение вышло бы во вторник вечером с коротким объявлением. На этот раз владелец услуги просит поэтапный выпуск.

Команда развёртывает новую страницу в эксплуатации за неделю до релиза выключенной. Затем включает её для сотрудников, а на следующий день для 5 процентов посетителей, выбранных случайно. Руководитель релиза следит за долей успешных поисков и числом ошибок, а service desk за два дня до этого получает одностраничное руководство и короткий список известных проблем. На третий день исследователь из пилотной группы сообщает, что поиск с определёнными неанглийскими символами не работает. Команда выключает переключатель для всех пользователей в течение минуты, исправляет проблему на следующее утро и возобновляет выкатывание с 5 процентов. Через две недели новая страница доступна всем, а переключатель запланирован к удалению.

Что изменилось: сбой затронул несколько пользователей на день, а служба поддержки была готова к вопросам. Что остаётся трудным: система переключателей находится в отдельном инструменте, доступ к которому контролируется нестрого, поэтому команда запросила проверку; примечания к выпуску написали разработчики, и исследователи нашли их запутанными; а двойное сопровождение старой и новой страниц поиска стоило около недели усилий. Владелец добавляет в шаг примечаний редактора, ориентированного на пользователя.

Четыре перспективы

Команды продукта и поставки

Проектируйте с разделением развёртывания и релиза: используйте переключатели, делайте изменения данных совместимыми и планируйте путь назад. Наблюдайте за собственными релизами и пишите примечания, понятные пользователям и поддержке.

Команды услуг и эксплуатации

Помогайте определять готовность, мониторинг и откат. Запрашивайте информацию о релизе рано и говорите разработчикам, что вам нужно. Держите запись того, что находится в эксплуатации, точной.

Руководство и управление

Решайте время релиза вместе с бизнесом, а не по календарю развёртываний. Финансируйте конвейер и инструменты переключателей. Просите поэтапное выкатывание для функций с высоким влиянием и избегайте давления выпускать к фиксированной дате независимо от готовности.

Клиенты и пользователи

Вы должны узнавать об изменениях, которые важны, в понятных вам терминах и должны легко сообщать о проблемах. Если вы участвуете в раннем доступе, ожидайте просьб об обратной связи и рассказывайте команде, что видите.

Agile, ИИ, автоматизация и аналитика

Agile

Небольшие частые релизы с участием реальных пользователей на ранних этапах дают быструю обратную связь. Считайте каждый релиз шагом обучения и корректируйте следующий. Предостережение: не выпускайте функции, которые пользователям не нужны, только потому, что конвейер позволяет; проверяйте ценность с пользователями.

ИИ

ИИ может готовить черновики примечаний к выпуску по изменениям и обращениям, резюмировать обратную связь после выкатывания и подсказывать, за чем следить. Назовите владельца и пусть человек сравнит черновик с изменением перед публикацией. Предостережение: правдоподобное, но неверное примечание вводит в заблуждение пользователей и поддержку; сверяйте с фактическим изменением. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.

Автоматизация

Автоматизируйте развёртывание, поэтапное выкатывание, проверки состояния, автоматическую остановку при плохих показателях и откат, с журналами и ручным переопределением. Предостережение: правила автоматического выкатывания, срабатывающие на плохие показатели, могут давать сбой; проверяйте их и держите человека в курсе. См. тему 6.4 — Конвейеры и автоматизированные изменения.

Аналитика

Сравнивайте показатели между выпущенной группой и остальными во время выкатывания, например ошибки, успех задач и жалобы. Предостережение: небольшие группы дают шумные результаты, а неосторожное сравнение может ввести в заблуждение; договоритесь, на что вы будете смотреть и сколько ждать. См. тему 7.3 — Измерение и отчётность и книгу Service Management Metrics.

Типичные виды сбоев

  • Релиз и развёртывание связаны. Каждый запуск рискован. Разделите их переключателями и поэтапным выкатыванием.
  • Переключатели без владельцев. Код наполняется мёртвыми ветками. Записывайте владельцев и даты удаления.
  • Нет быстрого пути назад. Плохой релиз длится часами. Репетируйте откат и переключатели.
  • Поддержка узнаёт из первого звонка. Desk не готов. Давайте примечания и руководство заранее.
  • Примечания к выпуску для разработчиков. Пользователи не могут их читать. Пишите для аудитории.
  • Изменения данных не спланированы. Откат невозможен. Используйте совместимые небольшие шаги.
  • Ничего не отслеживается. Проблемы находят пользователи. Назначьте наблюдателя и задайте показатели.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Разделение развёртывания и релиза Одно событие Используются некоторые переключатели Переключатели и поэтапное выкатывание для значимых функций Решения о выкатывании основаны на данных Выкатывание автоматизировано с ограничителями по услугам
Откат Медленный и ручной Документирован Отрепетированные быстрые маршруты Время восстановления измеряется Автоматический и регулярно проверяемый
Коммуникация Объявляется при запуске Примечания для некоторых релизов Примечания для каждой аудитории, поддержка заранее проинструктирована Примечания проверяются на читателях Коммуникация встроена в конвейер и каналы
Записи Память и почта Электронная таблица Формируются из конвейера Используются в разборах и аудитах Связаны между версиями, переключателями и инцидентами

Контрольный список

  • Мы разделяем развёртывание и релиз для значимых изменений.
  • У переключателей функций есть владельцы и даты удаления.
  • Мы выкатываем поэтапно, с определёнными показателями и критериями остановки.
  • Мы знаем, как быстро выключить или откатить, и репетировали это.
  • Поддержка получает информацию о релизе раньше пользователей.
  • Примечания к выпуску написаны для их читателей.
  • Изменения данных делаются совместимыми обратимыми шагами.
  • Записи о выпущенном формируются из конвейера.

Запросы к ИИ

Подготовьте черновик примечаний к выпуску для проверки.

Here are the changes in this release: [paste list of changes with ticket titles]. The audience is [users, support staff, or operations].
Draft release notes of under 200 words in plain language, grouped by what users will notice, and list items you could not describe without guessing. Do not add features or dates that are not in the list.
List what you are unsure of.

Подготовьте контрольный список готовности к релизу.

Our release: [describe]. Risks we know of: [list]. Our usual checks: [list].
Draft a checklist of up to ten yes/no questions to answer before release, with who answers each. Keep it short and tied to the listed risks.
List what you are unsure of.

Спланируйте поэтапное выкатывание.

Our feature: [describe]. Our users: [groups and sizes]. Indicators we can measure: [list].
Propose three stages with the audience, what to watch, how long, and what would make us stop. Note what the indicators cannot tell us. Do not claim any stage is safe.
List what you are unsure of.

ИИ-навыки

  • release-notes: используйте, чтобы писать примечания к выпуску для каждой аудитории.
  • changelog: используйте, чтобы вести понятную историю изменений.
  • shift-left-testing: используйте, чтобы тестировать раньше в конвейере.
  • runbook: используйте, чтобы документировать шаги выкатывания и отката.

Ключевые источники

  • Jez Humble and David Farley, Continuous Delivery (2010): основа конвейеров развёртывания и приёмов релизов.
  • PeopleCert, ITIL certification pages: описание практик управления релизами и развёртыванием от владельца.
  • Wikipedia, "Software deployment" и "Feature toggle": обзоры основных идей.
  • Wikipedia, "Release management": предыстория дисциплины.

Источники

  1. Release management — Wikipedia — https://en.wikipedia.org/wiki/Release_management
  2. Software deployment — Wikipedia — https://en.wikipedia.org/wiki/Software_deployment
  3. Software release life cycle — Wikipedia — https://en.wikipedia.org/wiki/Software_release_life_cycle
  4. Feature toggle — Wikipedia — https://en.wikipedia.org/wiki/Feature_toggle
  5. Blue–green deployment — Wikipedia — https://en.wikipedia.org/wiki/Blue%E2%80%93green_deployment
  6. Release notes — Wikipedia — https://en.wikipedia.org/wiki/Release_notes
  7. Changelog — Wikipedia — https://en.wikipedia.org/wiki/Changelog
  8. Software versioning — Wikipedia — https://en.wikipedia.org/wiki/Software_versioning
  9. Schema migration — Wikipedia — https://en.wikipedia.org/wiki/Schema_migration
  10. Deployment environment — Wikipedia — https://en.wikipedia.org/wiki/Deployment_environment
  11. Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery