Почему это важно

Изменение — крупнейший источник риска в действующей услуге, и обычная реакция на него — замедлить: меньше релизов, больше согласований, крупнее циклы тестирования. Каждая из этих мер делает следующий релиз крупнее, а значит, рискованнее, что побуждает к ещё большей осторожности. Команды обнаруживают, что выпускают релизы раз в квартал, с долгим выходным днём тревожной работы.

Непрерывная поставка разворачивает этот цикл. Если изменение мало, его последствия легко понять, легко протестировать и легко откатить. Если оно выпускается через автоматизированный конвейер, одни и те же проверки выполняются каждый раз, в одном порядке и с записью. Если релиз можно сделать в любое время, команда может ответить на сбой услуги или потребность клиента за часы, а не недели.

Для управления услугами непрерывная поставка важна тем, что меняет облик контроля. Практика обеспечения изменений, построенная вокруг еженедельного заседания совета, не поспевает за 20 релизами в день и не обязана, если проверки несёт конвейер (см. тему 3.4 — Обеспечение изменений и тему 6.4 — Конвейеры и автоматизированные изменения). Эта тема объясняет практику, лексику и то, как внедрять её, не теряя контроля.

Основные понятия

Непрерывная интеграция. Разработчики часто, хотя бы ежедневно, вливают свою работу в общую основную ветку, и каждое слияние запускает автоматическую сборку и прогон тестов. Цель — находить проблемы интеграции, пока они малы. Практику и её происхождение в экстремальном программировании описывает статья Wikipedia о непрерывной интеграции.

Непрерывная поставка. Сборки, прошедшие автоматические проверки, всегда находятся в состоянии, которое можно выпустить. Решение о выпуске — бизнес-решение, принимаемое, когда удобно, а не технический барьер. В стандартной формулировке выпуск — это один щелчок и малый риск.

Непрерывное развёртывание. Следующий шаг, при котором каждое изменение, прошедшее конвейер, автоматически выпускается в производственную среду без ручного согласования. Это выбор, а не требование непрерывной поставки, и он лучше подходит одним услугам и рискам, чем другим.

Конвейер развёртывания. Автоматизированная последовательность этапов: сборка, модульные тесты, интеграционные тесты, проверки безопасности, развёртывание в тестовой среде, приёмочные тесты и выпуск. Каждый этап либо пропускает изменение дальше, либо останавливает его. Конвейер — и механизм безопасности, и источник свидетельств, поскольку он записывает, что проверялось.

Малые партии. Выпуск небольших изменений означает, что каждое затрагивает немногое. Закон Литтла из теории очередей, описанный в Wikipedia, объясняет часть эффекта: при той же скорости работы меньшие партии означают более короткие очереди и меньшие задержки. Малые партии также облегчают прослеживание неисправностей до причины.

Разделение развёртывания и выпуска. Развёртывание помещает код на производственные серверы. Выпуск делает функцию доступной пользователям. Приёмы вроде переключателей функций (feature toggles) позволяют развернуть код выключенным и включить позже, сначала для некоторых пользователей. Это снижает риск каждого шага. См. тему 3.5 — Управление релизами и развертыванием.

Прогрессивная поставка. Выпуск сначала небольшой доле пользователей, наблюдение и постепенное расширение. Варианты включают канареечные релизы, при которых небольшая группа получает изменение, и сине-зелёное развёртывание, при котором две производственные среды чередуются, так что переключение можно быстро отменить.

Контроль версий и разработка в основной ветке. Все изменения, включая конфигурацию и определения инфраструктуры, находятся в системе контроля версий. Многие команды работают в единой основной ветке с недолговечными ответвлениями, что поддерживает частую интеграцию. См. тему 6.3 — Инфраструктура как код и GitOps.

Быстрая обратная связь и восстановление. Цель — быстро находить неисправности и быстро восстанавливаться. Исследовательские программы по поставке программного обеспечения, такие как работа DevOps Research and Assessment (DORA), отслеживают показатели, например частоту развёртываний, время выполнения изменений, долю неудачных изменений и время восстановления услуги. Относитесь к ним как к вопросам о вашей системе, а не как к оценкам команд; см. книгу Service Management Metrics.

Что для этого требуется. Автоматические тесты, которым вы доверяете, стабильный конвейер, возможность откатиться или двигаться вперёд, производственный мониторинг, показывающий эффект изменения, и команда, которая отвечает за то, что выпускает. Без этого частые релизы безрассудны; с этим они безопаснее редких.

Как вписываются линзы. Непрерывная поставка — практическая форма гибкой линзы для действующих услуг. ИИ-помощники помогают писать и проверять код и тесты под человеческим контролем. Автоматизация — ядро конвейера. Аналитика сообщает, что делают конвейер и услуги.

Лучшие практики

  1. Держите основную ветку готовой к выпуску. Считайте сломанную сборку главным приоритетом команды. Правило вроде «исправить или откатить в течение часа» поддерживает здоровую интеграцию.
  2. Делайте изменения малыми. Стремитесь к изменениям, которые рецензент может понять за минуты. Если изменение велико, разделите его, например выпустив сначала подготовительный шаг.
  3. Автоматизируйте проверки, которым доверяете. Проверки сборки, модульные, интеграционные и безопасности выполняются на каждое изменение. Добавляйте проверку, когда инцидент показывает пробел, и после обсуждения убирайте ту, что никогда не падает и отнимает время.
  4. Используйте один путь конвейера для всех изменений. Избегайте особых маршрутов для срочных изменений. Единый путь, достаточно быстрый для экстренных случаев, безопаснее исключения, которое редко отрабатывается.
  5. Разделяйте развёртывание и выпуск. Используйте переключатели функций и поэтапные выкатывания, чтобы новое поведение можно было включить для нескольких пользователей и быстро выключить. Записывайте состояние каждого переключателя и удаляйте старые.
  6. Планируйте путь назад. Для каждого изменения знайте, как откатиться или двигаться вперёд, и тренируйтесь. Изменения данных требуют особой осторожности, поскольку откат кода не может их отменить.
  7. Отслеживайте эффект каждого релиза. Наблюдайте частоту ошибок, задержку и видимые пользователю показатели в течение заданного периода после выпуска и облегчите сопоставление изменения с симптомом.
  8. Записывайте, что проверяет конвейер. Краткое описание каждого этапа, его назначения и владельца позволяет аудиторам, новым сотрудникам и эксплуатации его понять.
  9. Включайте эксплуатацию с самого начала. Привлекайте специалистов эксплуатации и поддержки к проектированию, чтобы журналирование, руководства и оповещения были частью изменения, а не запоздалой мыслью.
  10. Улучшайте конвейер как продукт. Дайте ему владельца и бэклог. Медленные, ненадёжные конвейеры учат людей их обходить.

Вопросы для обсуждения с командой

Сколько времени нашему наименьшему изменению требуется, чтобы попасть в эксплуатацию, и где оно ждёт? Вопрос находит задержку. Попросите реальный пример с метками времени. Типичные ожидания — ручное тестирование, согласование, доступ к средам и окна выпуска. В продолжение выберите самое долгое ожидание и первый шаг по его сокращению.

Какие из наших ручных согласований мог бы заменить проверкой конвейер и какой риск контролирует каждое? У каждого согласования есть причина, часто — инцидент много лет назад. Спросите, какой риск оно закрывает и какие свидетельства удовлетворили бы согласующего. Ожидайте сопротивления владельцев контролей; попросите их помочь спроектировать замену. В продолжение опробуйте одну замену с датой пересмотра.

Что происходит, когда релиз идёт не так? Как быстро мы могли бы его отменить и тренировались ли мы? Команды часто обнаруживают, что откат существует только на бумаге. Спросите, когда он применялся в последний раз. В продолжение запланируйте репетицию в безопасной среде.

Каким тестам мы доверяем, а какие игнорируем? Ненадёжные тесты подрывают уверенность. Спросите, какие падения команда пропускает. Ожидайте честных ответов о тестах, которые «обычно проходят при повторе». В продолжение выберите один ненадёжный тест, чтобы починить или удалить.

Как мы узнаём в течение часа, навредил ли релиз пользователям? Вопрос проверяет мониторинг. Ответы варьируются от «ждём жалоб» до панелей и автоматических оповещений. Спросите, какой показатель поймал бы последний неудачный релиз. В продолжение выберите один показатель для добавления и проверки.

Где ИИ мог бы помочь в нашем конвейере и кто проверяет то, что он производит? ИИ может составлять тесты, проверять изменения и объяснять сбои. Спросите, что даст каждое применение и кто отвечает. Ожидайте энтузиазма и малого надзора. В продолжение выберите одно малорисковое применение с человеческой проверкой и измерением ошибок.

На практике: пример управления услугами

Цифровая команда региональной группы больниц ведёт услугу записи на приём, которой пользуются 30 клиник. Релизы выходят раз в квартал в выходное окно с большим тестовым чек-листом. Два последних релиза затянулись, а один внёс неисправность, проявившуюся в понедельник утром как двойная запись на приём.

Руководитель команды вместе с владельцем услуги предлагает небольшие шаги. Во-первых, они автоматизируют сборку и 200 важнейших регрессионных тестов, чтобы те выполнялись на каждое изменение. Во-вторых, они переносят конфигурацию в систему контроля версий и требуют рецензии коллег для каждого изменения. В-третьих, они добавляют переключатель функции, чтобы новые правила записи можно было сначала включить в одной клинике. Сотрудник по клинической безопасности, подписывающий услугу, просит свидетельств, что каждое изменение было протестировано и рассмотрено. Команда показывает ей запись конвейера по каждому релизу.

Через четыре месяца команда выпускает релизы еженедельно, и риск понедельничного утра меньше, поскольку изменения меньше и видны. Изменение правила двойной записи сначала включают в одной клинике, на второй день регистратор замечает странное сообщение, и его выключают за минуты.

Что изменилось: релизы перестают быть событиями выходных, а сотрудник по безопасности рассматривает свидетельства вместо присутствия на совещаниях. Что остаётся трудным: набор тестов всё ещё пропускает некоторые сложные случаи записи, у устаревшего интерфейса к системе медицинских карт нет автоматического теста, а две клиники недовольны еженедельными изменениями, поскольку они затрагивают их обучение. Команда согласует календарь изменений для функций, чувствительных к обучению, и продолжает добавлять тесты по мере того, как инциденты выявляют пробелы.

Четыре перспективы

Команды продукта и поставки

Владейте конвейером и тем, что он выпускает. Держите изменения малыми, тесты надёжными, а переключатели в порядке. Включайте журналирование, оповещения и руководства в определение готовности и наблюдайте эффект каждого релиза.

Команды услуг и эксплуатации

Помогайте определить, что проверяет конвейер и что показывает мониторинг. Работайте с разработчиками над откатом и над тем, как выглядит «здоровое» состояние. Запрашивайте запись о релизе, когда начинается инцидент.

Руководство и управление

Финансируйте конвейер, тесты и мониторинг — их легко обделить. Просите свидетельства контроля от конвейера, а не заседания. Не используйте показатели поставки, чтобы ранжировать команды.

Клиенты и пользователи

Ожидайте небольших частых изменений и быстрых исправлений. Сообщайте команде, когда изменение вам мешает, например в период обучения или занятости, и просите уведомлять о значительных изменениях.

Agile, ИИ, автоматизация и аналитика

Agile

Непрерывная поставка — сторона поставки гибкой практики: работающие изменения небольшими частями, с вовлечёнными заинтересованными сторонами и регулярным обзором того, что улучшать. Предостережение: не отождествляйте её с конкретным методом; команды могут поставлять непрерывно как со спринтами, так и без.

ИИ

ИИ-помощники могут составлять код, тесты и примечания к выпуску и резюмировать сбои, с назначенным владельцем и человеком, проверяющим каждый выход до попадания в конвейер. Предостережение: сгенерированный код может нести проблемы безопасности или лицензирования; применяйте те же проверки, что и к любому изменению, и отслеживайте долю изменений с помощью ИИ, вызывающих дефекты. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.

Автоматизация

Автоматизируйте сборку, тестирование, сканирование безопасности, развёртывание и след свидетельств и по возможности делайте откат автоматическим. Предостережение: зелёный конвейер показывает, что проверки пройдены, а не что изменение правильное; оставляйте человеческую проверку для решений о проектировании и риске. См. тему 6.4 — Конвейеры и автоматизированные изменения.

Аналитика

Отслеживайте время выполнения изменений, частоту развёртываний, долю неудачных изменений и время восстановления как вопросы к системе. Предостережение: когда они становятся целями, команды искусственно дробят изменения или избегают записи сбоев; используйте их с ограничителями из книги Service Management Metrics.

Типичные виды сбоев

  • Частые релизы без тестов. Скорость растёт, доверие падает. Сначала постройте проверки и выпускайте так часто, как они позволяют.
  • Отдельный путь для срочных изменений. Срочный путь не протестирован и рискован. Сделайте основной путь достаточно быстрым для экстренных случаев.
  • Долгоживущие переключатели функций. Старые переключатели копятся, и никто не знает, что включено. Отслеживайте переключатели и удаляйте их после выкатывания.
  • Нет репетиции отката. Откат не срабатывает, когда нужен. Тренируйтесь в безопасной среде.
  • Ненадёжные тесты игнорируются. Люди перестают верить красным сборкам. Чините или удаляйте ненадёжные тесты.
  • Конвейер как чужая работа. Он деградирует. Дайте ему владельца и бэклог.
  • Показатели для ранжирования команд. Команды подтасовывают числа. Используйте показатели, чтобы находить проблемы, а не сравнивать людей.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Частота релизов Раз в квартал или реже Ежемесячно Еженедельно или чаще, по стандартному пути Частота настраивается по риску и спросу Непрерывно по всем услугам с прогрессивной поставкой
Автоматизация Ручные сборка и тестирование Автоматическая сборка Автоматические сборка, тестирование и развёртывание Конвейер отслеживается и улучшается как продукт Конвейеры общие и управляются по командам
Свидетельства контроля Совещания и чек-листы Некоторые записи Записи конвейера для каждого изменения Свидетельства выборочно проверяются и рассматриваются Свидетельства непрерывны, риск проверяет человек
Восстановление Откат неясен Откат документирован Откат или движение вперёд отрепетированы Время восстановления измеряется Восстановление автоматизировано и регулярно проверяется

Контрольный список

  • Основная ветка готова к выпуску в любой момент.
  • Каждое изменение проходит через один автоматизированный конвейер.
  • Тесты, которым мы доверяем, выполняются на каждое изменение; ненадёжные тесты исправлены или удалены.
  • Мы разделяем развёртывание и выпуск, а переключатели функций отслеживаются.
  • Мы знаем, как откатиться или двигаться вперёд, и репетировали это.
  • Мы отслеживаем эффект каждого релиза.
  • У конвейера есть владелец, бэклог и описание проверок.
  • Изменения с помощью ИИ проверяются и отслеживаются.

Запросы к ИИ

Найдите ожидания в релизе.

Here is a timeline of our last release, from "change ready" to "in production": [paste timeline with timestamps and who acted].
List each wait and how long it was, then give two questions per wait to find its cause. Do not assume causes.
List what you are unsure of.

Предложите проверки конвейера для риска.

Our service: [describe]. The risk we want to control: [describe, such as untested configuration change].
List five automated checks that could address it, what each would catch, and what each would miss. Do not claim a check removes the risk.
Mark assumptions and list what you are unsure of.

Подготовьте черновик плана репетиции отката.

Our release process: [paste steps]. Our rollback method: [describe, or write "unknown"].
Draft a one-page rehearsal plan with steps, roles, success criteria, and what to record. Include a safe environment only; do not suggest rehearsing in production.
List what you are unsure of.

ИИ-навыки

  • shift-left-testing: используйте, чтобы сдвинуть тестирование раньше в конвейере.
  • test-driven-development: используйте, чтобы строить тесты вместе с изменениями.
  • release-notes: используйте, чтобы описывать каждый релиз для клиентов и поддержки.

Ключевые источники

  • Jez Humble and David Farley, Continuous Delivery (2010): книга, давшая практике имя и описание.
  • DORA (dora.dev): исследования и отчёты о результативности поставки программного обеспечения.
  • Wikipedia, "Continuous delivery": краткое изложение принципов и смежных практик.
  • Wikipedia, "Continuous integration": практика, лежащая в основе.

Источники

  1. Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
  2. Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
  3. Continuous deployment — Wikipedia — https://en.wikipedia.org/wiki/Continuous_deployment
  4. Feature toggle — Wikipedia — https://en.wikipedia.org/wiki/Feature_toggle
  5. Blue–green deployment — Wikipedia — https://en.wikipedia.org/wiki/Blue%E2%80%93green_deployment
  6. Little's law — Wikipedia — https://en.wikipedia.org/wiki/Little%27s_law
  7. Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
  8. Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
  9. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  10. DORA — DevOps Research and Assessment — https://dora.dev