Конвейеры и автоматизированные изменения
Конвейер поставки может нести меры контроля, нужные обеспечению изменений: тесты, проверки безопасности, проверки политик, рецензию коллег, разделение обязанностей и след свидетельств для каждого изменения; человеческое согласование, которое остаётся, — для решений, требующих суждения, которых конвейер принять не может.
Почему это важно
Когда изменения были редкими и крупными, контроль означал совещание. Люди собирались, читали документ и соглашались, что релиз может идти дальше. Когда изменения стали частыми и небольшими, совещание перестало масштабироваться. Команда, выпускающая релизы двадцать раз в день, не может созвать двадцать советов. Зато она может выполнить один и тот же набор проверок двадцать раз с постоянной строгостью и хранить запись о каждом.
Это вклад конвейера в управление услугами. Та же автоматическая последовательность, которая собирает и развёртывает изменение, может его тестировать, сканировать на слабости, проверять по политикам, требовать второго рецензента и записывать, что произошло. Результат часто лучше контроля, который давало совещание: последовательный, связанный с фактическим изменением и доступный аудитору спустя долгое время. Практики, которые это делают возможным, описывают статьи Wikipedia о непрерывной поставке и автоматизации тестирования.
Конвейер — также новая вещь для управления. Он хранит учётные данные, способные менять эксплуатацию, может быть неверно настроен на пропуск проверок и может убаюкать команду доверием к зелёным галочкам, мало что проверяющим. Эта тема объясняет, как проектировать конвейеры как меры контроля, как производить свидетельства для аудиторов и как сохранять человеческое суждение, которое автоматизация не заменит. Она опирается на непрерывную поставку (тема 2.2 — Непрерывная поставка) и обеспечение изменений (тема 3.4 — Обеспечение изменений), связана с инфраструктурой как кодом (тема 6.3 — Инфраструктура как код и GitOps) и управлением релизами (тема 3.5 — Управление релизами и развертыванием) и разделяет заботы с информационной безопасностью (тема 3.13 — Управление информационной безопасностью).
Основные понятия
Конвейер. Автоматическая последовательность этапов, ведущая изменение от исходного кода до эксплуатации: сборка, тест, сканирование, упаковка, развёртывание, проверка. Конвейеры в программной сфере описывает Wikipedia. Каждый этап проходит или не проходит, и сбой останавливает изменение. Конвейеры определяются как код и хранятся в системе контроля версий.
Непрерывная интеграция и поставка. Частое слияние изменений и поддержание каждой сборки готовой к выпуску, как описано в теме 2.2 — Непрерывная поставка. Конвейер — механизм обоих. Непрерывную интеграцию и поставку описывает Wikipedia.
Этапы как меры контроля. Каждый этап — мера контроля со своей целью:
| Этап | Мера контроля, которую он обеспечивает |
|---|---|
| Сборка | Изменение компилируется и упаковывается воспроизводимо |
| Модульные и интеграционные тесты | Известное поведение по-прежнему работает |
| Статический анализ и сканирование безопасности | Находятся распространённые недостатки и уязвимые зависимости |
| Проверки политик | Соблюдаются правила, такие как теги, шифрование и одобренные регионы |
| Рецензия коллег | Второй человек прочитал изменение |
| Поэтапное развёртывание и проверка | Изменение работает в безопасном месте до более широкого воздействия |
Контрольные ворота качества. Условие, которому изменение должно удовлетворять, чтобы идти дальше, например прохождение тестов, отсутствие критических уязвимостей или непадение покрытия. Управление качеством в более широком смысле описывает Wikipedia. Ворота должны быть немногочисленными, ясными и быстрыми. Ворота, которые часто обходят или игнорируют, учат команду игнорировать ворота.
Автоматическое тестирование. Модульные, интеграционные и сквозные тесты выполняются на каждое изменение. Автоматизацию тестирования, модульное и интеграционное тестирование описывает Wikipedia. Ценность в том, насколько вы им доверяете: ненадёжные тесты подрывают уверенность. См. тему 2.2 — Непрерывная поставка.
Сканирование безопасности. Статический анализ исследует код на шаблоны слабостей; анализ состава программного обеспечения исследует используемые вами библиотеки на известные уязвимости. Статическое тестирование безопасности приложений и анализ состава программного обеспечения описывает Wikipedia. Находки требуют сортировки, поскольку многие малорисковые или ложные.
Политика как код. Правила, записанные как машинно проверяемый код и применяемые в конвейере, например «никакое хранилище не должно быть публичным». Они делают требования проверяемыми, а результаты записываемыми. См. тему 6.3 — Инфраструктура как код и GitOps.
Разделение обязанностей. Человек, пишущий изменение, не единственный, кто его одобряет. Разделение обязанностей описывает Wikipedia. В конвейере это обеспечивается требованием второго рецензента и запретом автору одобрять собственное изменение. Где этого требует регулирование, конвейер может показать, кто что сделал.
Виды изменений в конвейере. Стандартные изменения, такие как рутинное обновление конфигурации, могут проходить только с автоматическими проверками, без ручного согласования. Обычные изменения с повышенным риском могут добавлять шаг человеческого согласования в конвейер. Срочные изменения используют тот же конвейер в быстром режиме с той же записью. См. тему 3.4 — Обеспечение изменений.
Свидетельства. Конвейер записывает, что изменилось (коммит), кто рассматривал, какие проверки выполнялись и их результаты, кто или что развернуло и когда. Журнал аудита описывает Wikipedia. Свидетельства следует хранить там, где их не могут изменить люди, которых они касаются, и легко находить по изменению.
Цепочка поставки программного обеспечения. Конвейер собирает из компонентов, предоставленных другими, использует инструменты других и производит артефакты, которые развёртываются. Цепочку поставки программного обеспечения и идею происхождения (provenance) — проверяемой записи о том, откуда пришёл артефакт, — описывает Wikipedia. Практики включают фиксацию версий, подпись артефактов и ведение спецификации компонентов. См. тему 4.2 — Управление программными активами.
Прогрессивное выкатывание и проверка. После развёртывания конвейер может проверять показатели состояния и откатываться автоматически, если они ухудшаются. Приёмы вроде поэтапного выкатывания и переключателей функций описаны в теме 3.5 — Управление релизами и развертыванием.
Безопасность конвейера. Конвейер может развёртывать в эксплуатацию, поэтому он — цель высокой ценности. Защищайте его: ограничьте, кто может менять определения конвейера, используйте краткосрочные учётные данные, изолируйте среды сборки и мониторьте необычную активность. Относитесь к изменениям конвейера так же тщательно, как к изменениям эксплуатации.
Обход и исключения. Некоторые изменения не вписываются: исправление данных, ручное действие вендора. Определите записываемый маршрут исключений с согласованием, вместо того чтобы оставлять людей искать обходные пути. Регулярно рассматривайте исключения.
Конвейер как продукт. Конвейерам нужны владельцы, бэклог, документация и пользователи, дающие обратную связь. Медленные ненадёжные конвейеры учат людей их избегать.
Как вписываются линзы. Конвейеры — место, где гибкая линза и линза автоматизации встречаются с управлением. ИИ может предлагать тесты, рассматривать изменения и объяснять сбои под человеческой проверкой. Аналитика использует данные конвейера, чтобы показать поставку и качество изменений.
Лучшие практики
- Проектируйте каждый этап как названную меру контроля. Для каждого этапа запишите, какой риск он закрывает, кто им владеет и что означает его сбой. Убирайте этапы, не закрывающие реального риска.
- Держите конвейер быстрым. Стремитесь к результату за минуты для обычного пути. Медленные проверки запускайте параллельно или на поздних этапах с чёткой обратной связью, чтобы люди не искали обходов.
- Сделайте конвейер единственным маршрутом. Изменения эксплуатации идут через него, с записываемым маршрутом исключений для остального. Блокируйте прямой доступ, где можете.
- Обеспечивайте разделение обязанностей в инструментах. Требуйте квалифицированного второго рецензента, запретите авторам одобрять собственные изменения и записывайте обе идентичности.
- Относитесь к сбоям серьёзно. Падающий тест или сканирование останавливает изменение. Не допускайте рутинных обходов и требуйте согласования и записанной причины, когда он нужен.
- Сортируйте находки безопасности. Задайте пороги по серьёзности и доступности, исправляйте серьёзные и отслеживайте остальные. Настраивайте правила для снижения шума, чтобы находки читали.
- Записывайте свидетельства автоматически. Фиксируйте коммит, рецензентов, проверки, результаты, артефакты и детали развёртывания в хранилище, которое автор изменения не может править. Связывайте с записью об изменении.
- Защищайте сам конвейер. Ограничьте, кто может менять определения, используйте краткосрочные учётные данные с минимальным охватом, фиксируйте инструменты и зависимости и подписывайте артефакты.
- Проверяйте после развёртывания. Проверяйте показатели состояния и откатывайтесь или приостанавливайтесь, когда они ухудшаются. Сообщайте результаты в той же записи.
- Регулярно пересматривайте конвейер. Смотрите, какие проверки ловят реальные проблемы, какие игнорируются, сколько занимают запуски и какие исключения случаются. Улучшайте и обрезайте.
Вопросы для обсуждения с командой
Какие из наших мер контроля изменений конвейер обеспечивает сегодня, а какие всё ещё зависят от совещания или формы? Перечислите меры контроля. Ожидайте, что некоторые ручные можно автоматизировать. В продолжение выберите одну для переноса в конвейер.
Что увидел бы аудитор, если бы попросил свидетельства по одному изменению за прошлый месяц? Попробуйте. Ожидайте, что придётся собирать из нескольких систем. В продолжение договоритесь об одной записи на изменение и способе её получения.
Как часто люди обходят или переопределяют падающую проверку и почему? Спросите данные. Ожидайте больше, чем кто-либо говорит. В продолжение посмотрите на самую часто обходимую проверку, чтобы исправить или убрать её.
Кто может менять определение конвейера и кто рассматривает это изменение? Вопрос проверяет безопасность конвейера. Ожидайте широкого доступа. В продолжение ограничьте доступ и потребуйте рецензии изменений конвейера.
Какие находки наших сканеров мы читаем, а какие игнорируем? Спросите инженеров. Ожидайте «в основном игнорируем». В продолжение настройте сканер на находки, по которым люди будут действовать.
Где ИИ мог бы помочь в конвейере и что должно остаться решением человека? ИИ может предлагать тесты, резюмировать сбои и рассматривать код. Согласование риска и исключений должно остаться за человеком. В продолжение опробуйте предложенные ИИ тесты с проверкой.
На практике: пример управления услугами
Национальное агентство социального обеспечения ведёт около 80 приложений. Изменения системы расчёта пособий требуют еженедельного совета и длинной формы, а релизы выходят раз в месяц. Контрольное управление обнаруживает, что совет одобряет почти всё, а свидетельства по отдельным изменениям разбросаны. Инженеры агентства утверждают, что конвейер мог бы справиться лучше.
Руководитель поставки проводит пилот на одном приложении. Конвейер собирает приложение, выполняет 1 800 модульных и интеграционных тестов и набор регрессионных тестов из прошлых дефектов, сканирует код и библиотеки, проверяет определение инфраструктуры по политике и требует рецензии второго инженера, работавшего над системой. Каждый запуск пишет запись: коммит, рецензенты, результаты тестов, результаты сканирования, идентификатор артефакта и детали развёртывания, хранимые в журнале, который инженеры не могут править.
Процесс изменений перепроектирован как три маршрута. Рутинные изменения, такие как правка текстов и мелкая конфигурация, стандартны: если конвейер проходит, изменение развёртывается на пилотную группу, затем на всех, без совета. Изменения правил расчёта пособий обычны и дополнительно требуют подписи аналитика политики, который видит краткое резюме простым языком и результаты тестов. Срочные исправления используют тот же конвейер с сокращённым набором тестов и последующей рецензией.
Контрольное управление проверяет выборку из 30 изменений и находит, что свидетельства полны по всем и что конвейер заблокировал четыре изменения из-за провала проверок. Оно также отмечает, что два инженера многократно одобряли изменения друг друга, и просит правило ротации рецензентов.
Что изменилось: релизы становятся еженедельными, совет сосредоточен на изменениях правил, а аудитор может получить свидетельства по любому изменению за минуты. Что остаётся трудным: старые приложения не могут запускать автоматические тесты, поэтому их изменения сохраняют прежний маршрут; сканеры отмечают много малорисковых проблем библиотек, и инженеры начали игнорировать отчёт; а учётные данные самого конвейера оказались с более широким доступом, чем нужно. Руководитель добавляет настройку сканера, ротацию рецензентов и пересмотр учётных данных конвейера.
Четыре перспективы
Команды продукта и поставки
Владейте конвейером вашей услуги: держите его быстрым, заслуживающим доверия и честным в том, что он проверяет. Пишите тесты, ловящие реальные неисправности, чините ненадёжные и считайте находки работой. Не обходите его.
Команды услуг и эксплуатации
Помогайте определять проверки и показатели состояния, которые конвейер использует после развёртывания. Используйте свидетельства в инцидентах и разборах. Сохраняйте маршрут исключений для настоящих экстренных случаев.
Руководство и управление
Просите свидетельства из конвейеров, а не больше совещаний. Финансируйте тесты, сканирование и безопасность конвейера. Рассматривайте обходы и исключения. Не принимайте зелёные конвейеры за безопасные системы.
Клиенты и пользователи
Вы выигрываете от частых, более безопасных изменений. Вам должны сообщать о значимых изменениях, затрагивающих вас, и вы должны иметь возможность сообщать о проблемах после релиза.
Agile, ИИ, автоматизация и аналитика
Agile
Небольшие частые изменения, каждый раз проходящие одни и те же проверки, — практическая форма гибкого контроля. Улучшайте конвейер по инцидентам и обратной связи. Предостережение: не считайте конвейер законченным; пробелы в тестах растут по мере изменения системы.
ИИ
ИИ может предлагать тесты, рассматривать изменения, резюмировать сбои и сортировать находки, а за каждое решение отвечает человек. Предостережение: тесты, созданные ИИ, могут проходить, мало проверяя, а ИИ-рецензия кода может упустить проблемы безопасности; измеряйте ускользающие дефекты и сохраняйте человеческую проверку для риска. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.
Автоматизация
Конвейер — автоматизация пути в эксплуатацию, включая проверки и записи. Защищайте его как критическую инфраструктуру с собственной идентичностью, наименьшими привилегиями и мониторингом. Предостережение: автоматическое согласование на основе слабых правил даёт ложную уверенность; проверяйте, что на самом деле проверяет каждое правило. См. тему 6.1 — Стратегия автоматизации.
Аналитика
Отслеживайте время выполнения, частоту развёртываний, долю неудачных изменений, время восстановления, число обходов, ускользнувшие дефекты и находки по серьёзности. Предостережение: показатели поставки легко подтасовать, и ими не следует ранжировать команды; отслеживайте ускользнувшие дефекты, чтобы проверять проверки. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.
Типичные виды сбоев
- Зелёное значит безопасное. Тесты тонкие и проходят. Рассматривайте, что на самом деле проверяет каждая проверка, и отслеживайте ускользнувшие дефекты.
- Рутинные обходы. Проверки обходятся. Делайте обходы редкими, согласуемыми и рассматриваемыми.
- Медленный конвейер. Люди ищут короткие пути. Держите обычный путь быстрым.
- Шум сканеров. Находки игнорируются. Настраивайте и сортируйте.
- Свидетельства разбросаны. Аудиты занимают недели. Записывайте автоматически в одном месте.
- Конвейер с избыточными привилегиями. Одна компрометация достигает всего. Ограничивайте доступ и используйте краткосрочные учётные данные.
- Самосогласование. Авторы одобряют собственную работу. Обеспечивайте разделение обязанностей в инструментах.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Меры контроля | Ручные проверки | Сборка и некоторые тесты | Тесты, сканирование, политики и рецензия на каждое изменение | Результативность проверок измеряется | Меры контроля автоматически адаптируются по риску под надзором человека |
| Свидетельства | Формы и почта | Некоторые журналы | Автоматическая запись на каждое изменение | Свидетельства аудируются и проверяются выборочно | Свидетельства непрерывны по конвейерам и поставщикам |
| Безопасность конвейера | Общие учётные данные | Осведомлённость | Наименьшие привилегии, зафиксированные инструменты, защищённые определения | Конвейер мониторится и проверяется | Цепочка поставки проверяется от начала до конца |
| Поток | Медленный, ручной | Более быстрые сборки | Быстрый обычный путь с маршрутом исключений | Поток и сбои измеряются | Поставка оптимизирована по услугам |
Контрольный список
- У каждого этапа конвейера есть названное назначение и владелец.
- Обычный путь выполняется за минуты.
- Изменения эксплуатации идут через конвейер, с записываемым маршрутом исключений.
- Разделение обязанностей обеспечивается в инструментах.
- Падающие проверки останавливают изменения, а обходы согласуются и рассматриваются.
- Свидетельства записываются автоматически в хранилище, которое авторы не могут править.
- Определения конвейеров и учётные данные защищены и рассматриваются.
- Мы пересматриваем результативность проверок, включая ускользнувшие дефекты.
Запросы к ИИ
Сопоставьте меры контроля с конвейером.
Here is our list of change controls: [paste]. Here is a description of what our pipeline does: [paste].
For each control, say whether the pipeline description appears to provide it, partly provide it, or not mention it, quoting the words. Do not assume checks that are not described.
List what you are unsure of.
Просмотрите неудачный запуск конвейера.
Here is the log of a failed run: [paste, with secrets removed].
Summarize which stage failed, the error messages, and the three most likely areas to check, labeling each as a hypothesis. Do not suggest overriding the failure.
List what you are unsure of.
Подготовьте выборку свидетельств для аудита.
Here are the records for [number] changes: [paste summary with commit, reviewers, checks, results].
For each, check whether it shows a reviewer who is not the author, passing tests, scan results, and deployment time, and list gaps. Do not infer anything not in the records.
List what you are unsure of.
ИИ-навыки
- change-request: используйте, чтобы описывать изменения и нужные им свидетельства.
- shift-left-testing: используйте, чтобы сдвинуть тестирование раньше в конвейере.
- security-testing: используйте, чтобы планировать проверки безопасности конвейера.
- compliance-testing: используйте, чтобы сверять свидетельства с требованиями контроля.
- test-driven-development: используйте, чтобы строить тесты вместе с изменениями.
Ключевые источники
- Jez Humble and David Farley, Continuous Delivery (2010): основополагающий рассказ о конвейерах развёртывания.
- Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018): исследование практик поставки и результативности.
- DORA (dora.dev): текущие исследования и отчёты.
- Wikipedia, "Continuous delivery" и "Software supply chain": обзоры практики и её рисков.
Источники
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
- Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
- Unit testing — Wikipedia — https://en.wikipedia.org/wiki/Unit_testing
- Integration testing — Wikipedia — https://en.wikipedia.org/wiki/Integration_testing
- Static application security testing — Wikipedia — https://en.wikipedia.org/wiki/Static_application_security_testing
- Software composition analysis — Wikipedia — https://en.wikipedia.org/wiki/Software_composition_analysis
- Software supply chain — Wikipedia — https://en.wikipedia.org/wiki/Software_supply_chain
- Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- Code signing — Wikipedia — https://en.wikipedia.org/wiki/Code_signing
- DORA research — DevOps Research and Assessment — https://dora.dev/research/