Почему это важно

Годами создание программ и их эксплуатация были отдельными работами в отдельных командах с разными целями. Разработчиков вознаграждали за изменения, эксплуатацию — за стабильность, и две группы встречались при передаче, которую обе находили досадной. Релизы перебрасывали через стену, инциденты перебрасывали обратно, а клиенты ждали.

DevOps возник в конце 2000-х как ответ на это. Его центральная идея проста: люди, создающие услугу, должны разделять ответственность за её эксплуатацию, а люди, эксплуатирующие её, должны помогать формировать то, как она создаётся. Эта общая ответственность при поддержке автоматизации и быстрой обратной связи позволяет командам часто выпускать релизы и быстро восстанавливаться.

Для управления услугами DevOps — сильное влияние и порой источник трения. ITIL описывает практики вроде обеспечения изменений и управления инцидентами, а DevOps описывает, как команды выполняют их с помощью конвейеров, общих дежурств и разборов без поиска виноватых. Организации, считающие их противоположными, получают параллельные системы; те, кто их связывает, получают более быстрые и лучше подтверждённые меры контроля. Эта тема объясняет идеи и показывает, как они вписываются в остальную часть руководства.

Основные понятия

Что такое DevOps. Слово объединяет «development» (разработка) и «operations» (эксплуатация). Wikipedia описывает его как набор практик, объединяющих разработку программ и ИТ-эксплуатацию с целью сократить жизненный цикл поставки и обеспечить непрерывную поставку с высоким качеством. Это скорее движение, чем фреймворк: нет ни руководящего органа, ни единой сертификации, которые его определяли бы.

Сначала культура. Центральное изменение — культурное: общие цели, общая ответственность и сотрудничество между ролями. Команды, принимающие инструменты без культуры, сохраняют старую передачу под новым названием. Распространённое резюме — «you build it, you run it» («ты создал — ты и эксплуатируешь»), связанное с замечанием Вернера Фогельса из Amazon: команда, создающая услугу, отвечает за её эксплуатацию.

Три пути. В романе The Phoenix Project и последовавшем руководстве Джин Ким и соавторы описывают три принципа: поток (ускорять работу от разработки к эксплуатации и клиентам), обратная связь (создавать быструю обратную связь справа налево на каждом этапе) и непрерывное обучение и эксперименты. Они связывают DevOps с бережливым мышлением; см. тему 2.4 — Бережливость и кайдзен и тему 2.3 — Поток и канбан.

CALMS. Распространённая мнемоника элементов: культура (culture), автоматизация (automation), бережливость (lean), измерение (measurement) и обмен (sharing). Она полезна как контрольный список того, на что смотреть в команде, а не как оценка зрелости.

Практики. Типичные практики DevOps включают контроль версий для всего, непрерывную интеграцию и поставку (см. тему 2.2 — Непрерывная поставка), инфраструктуру как код (см. тему 6.3 — Инфраструктура как код и GitOps), автоматическое тестирование, мониторинг и наблюдаемость (см. тему 7.4 — Наблюдаемость и телеметрия), общие дежурства и разборы инцидентов без поиска виноватых.

Сдвиг влево. Перенос проверок, таких как тестирование и безопасность, на более ранние этапы жизненного цикла, где проблемы исправлять дешевле. DevSecOps распространяет идею на безопасность, встраивая проверки безопасности в конвейер. Оба описывает Wikipedia.

Платформенная инженерия. Более новая практика, при которой команда создаёт и эксплуатирует внутреннюю платформу, используемую другими командами для создания, развёртывания и эксплуатации услуг. Цель — снизить нагрузку на продуктовые команды, предлагая проторенные стандартные маршруты. Платформенную инженерию описывает Wikipedia. Нужна осторожность: платформа, которой команды вынуждены пользоваться, но не могут на неё влиять, становится ещё одной передачей.

Связь с ITIL. ITIL 4 признаёт DevOps и описывает свои практики так, что их могут выполнять меры контроля конвейера. Они отвечают на разные вопросы: DevOps описывает, как команды работают и автоматизируют; ITIL описывает практики, нужные организации, такие как управление инцидентами, изменениями и уровнями услуг. Полезное резюме: DevOps часто даёт «как», а ITIL — «что учитывать». См. тему 1.2 — ITIL и тему 2.9 — Agile-управление услугами.

Связь с SRE. Инженерия надёжности сайтов (SRE) — инженерная дисциплина надёжности, выросшая в Google; она разделяет цели с DevOps, использует целевые уровни услуг и бюджеты ошибок и часто рассматривает эксплуатацию как программную задачу. См. тему 2.6 — Инженерия надежности сайтов.

Связь с Agile. Гибкая практика сосредоточена на поставке работающего программного обеспечения небольшими частями с участием заинтересованных сторон; DevOps распространяет заботу за пределы момента выпуска — на эксплуатацию и улучшение услуги. Их объединяют ценности, такие как сотрудничество, быстрая обратная связь и непрерывное улучшение.

Частые возражения. Некоторые сотрудники эксплуатации опасаются, что DevOps означает сокращение рабочих мест или устранение контролей; некоторые разработчики опасаются, что он означает постоянное дежурство. За обоими опасениями стоят реальные случаи. Решайте их прямо, чёткими договорённостями о нагрузке, поддержке и о том, какие меры контроля остаются.

Как вписываются линзы. DevOps — культура поставки внутри гибкой линзы. ИИ-помощники теперь часть многих цепочек инструментов, под человеческой проверкой. Автоматизация центральна. Аналитика, включая показатели поставки и надёжности, замыкает петлю обратной связи.

Лучшие практики

  1. Начинайте с общих целей. Дайте разработке и эксплуатации один общий результат, о котором стоит заботиться, например видимая клиентам надёжность и скорость безопасных изменений. Отдельные цели для каждой группы воссоздают стену.
  2. Сделайте команду ответственной за то, что она создаёт. Позвольте команде, создающей услугу, участвовать в её эксплуатации, с поддержкой, обучением и пределами нагрузки на дежурствах, делающими это устойчивым.
  3. Автоматизируйте путь в эксплуатацию. Используйте конвейеры, которые собирают, тестируют, сканируют и развёртывают одинаково каждый раз, с записями. См. тему 6.4 — Конвейеры и автоматизированные изменения.
  4. Помещайте всё в систему контроля версий. Код, конфигурацию, определения инфраструктуры и руководства. Тогда изменение можно рецензировать, прослеживать и откатывать.
  5. Сдвигайте проверки влево. Добавляйте модульные тесты, сканирование безопасности и проверки политик рано в конвейере и устраняйте причины повторяющихся сбоев.
  6. Наблюдайте за эксплуатацией и делитесь увиденным. Дайте разработчикам доступ к тому же мониторингу, что у эксплуатации, и рассматривайте его вместе. См. тему 3.10 — Мониторинг и управление событиями.
  7. Разбирайте инциденты без поиска виноватых. Проводите разбор после значимых инцидентов, сосредоточьтесь на системе и отслеживайте действия. См. тему 3.3 — Управление проблемами.
  8. Предлагайте платформу, а не мандат. Если вы создаёте внутреннюю платформу, относитесь к использующим её командам как к клиентам: спрашивайте, что им нужно, публикуйте дорожную карту и измеряйте, помогает ли она.
  9. Сохраняйте меры контроля, меняя способ их работы. Там, где контроль управляет реальным риском, например разделением обязанностей, сохраняйте его и обеспечивайте автоматизацией и записями, а не совещанием.
  10. Измеряйте поставку и надёжность вместе. Смотрите, как быстро и как часто вы меняете, а также как часто изменения вызывают проблемы и как быстро вы восстанавливаетесь. Используйте числа, чтобы учиться, а не ранжировать людей.

Вопросы для обсуждения с командой

Где проходит передача между созданием и эксплуатацией и что там теряется? В большинстве организаций есть одна или несколько. Спросите обе стороны: чего разработчики не знают об эксплуатации услуги и чего эксплуатация не знает о проекте? Ожидайте длинных списков. В продолжение выберите одну передачу для устранения или сокращения.

Кому звонят, когда наша услуга падает ночью, и умеет ли он её починить? Вопрос рассматривает «you build it, you run it» на практике. Ответы варьируются от разработчика на дежурстве до отдельной команды с ограниченными знаниями. Спросите о нагрузке и данном обучении. В продолжение договоритесь об одном изменении, улучшающем знания или нагрузку.

Какие у нас есть меры контроля, существующие из-за прошлого инцидента, и мог ли бы конвейер их обеспечить? Многие меры контроля унаследованы. Спросите, какой риск закрывает каждая и какие свидетельства устроят владельца. В продолжение опробуйте одну замену конвейером с участием владельца.

Что должна уметь наша внутренняя платформа, чтобы мы выбрали её свободно? Вопрос проверяет платформенное мышление. Если команды пользовались бы ею только потому, что им велено, она им не служит. Спросите, чем они пользуются сегодня и почему. В продолжение договоритесь о небольшом наборе интервью с клиентами.

Как мы разбираем инциденты и что изменилось после последнего? Разборы имеют значение, только если за ними следуют действия. Спросите о действиях последнего разбора и их статусе. Ожидайте, что некоторые остались открытыми. В продолжение назначьте владельцев и даты пересмотра для оставшихся.

Как ИИ-помощники в кодировании или эксплуатации используются в нашей цепочке инструментов и кто проверяет их выход? ИИ-помощники могут писать код, тесты, конфигурацию и руководства и резюмировать инциденты. Спросите, кто владеет каждым применением, что проверяет человек и что поймало бы ошибку. В продолжение выберите применение для аудита в этом месяце.

На практике: пример управления услугами

Розничная цифровая команда регионального банка создаёт мобильное приложение, а отдельная группа эксплуатации ведёт производственную среду. Релизы выходят каждые шесть недель с трёхдневной заморозкой. Разработчики говорят, что эксплуатация блокирует изменения; эксплуатация говорит, что разработчики выпускают непроверенный код и оставляют её расхлёбывать. Разборы инцидентов заканчиваются спором о том, чья это вина.

Новый руководитель разработки предлагает эксперимент с одной услугой — функцией управления картой. Разработчик и инженер эксплуатации входят в одну команду. Они договариваются об общей цели: клиенты могут заморозить и разморозить карту менее чем за пять секунд, а изменения можно безопасно выпускать в любое время. Они помещают конфигурацию в систему контроля версий, добавляют в конвейер автоматические тесты и сканирование безопасности и договариваются, что вся команда ведёт график дежурств, причём инженеры эксплуатации обучают разработчиков, а предел — одна неделя из шести на человека. Команда по рискам банка настаивает на сохранении разделения обязанностей; команда выполняет это, требуя рецензии коллег для каждого изменения и записывая свидетельства конвейера.

Через шесть месяцев управление картой выпускается еженедельно с малым числом инцидентов, а команда по рискам принимает запись конвейера вместо заседания совета по изменениям для этой услуги. Разборы инцидентов проходят без поиска виноватых, и две повторяющиеся причины устранены. Остальные услуги остаются на старой модели.

Что изменилось: эта команда больше не ждёт шестинедельного цикла и имеет общее представление о производственной среде. Что остаётся трудным: остальная организация скептична, поскольку у команды больше инженеров на услугу, чем у других; нагрузка по дежурствам заставила двух разработчиков задуматься об уходе; а общий конвейер зависит от центральной платформенной команды с длинным бэклогом. Руководитель выносит вопросы штатов и платформы на руководящую группу, вместо того чтобы представлять результат как шаблон.

Четыре перспективы

Команды продукта и поставки

Владейте услугой от начала до конца: проектирование, создание, выпуск и эксплуатация. Изучите, как работает эксплуатация, справедливо делите дежурства и включайте наблюдаемость и руководства в определение готовности.

Команды услуг и эксплуатации

Делитесь знаниями о сбоях и восстановлении, помогайте строить конвейер и мониторинг и двигайтесь к инженерному подходу к собственной работе. Сохраняйте важные меры контроля и показывайте, как автоматизация их обеспечивает.

Руководство и управление

Задайте общие цели для разработки и эксплуатации, финансируйте платформу и обучение и следите за нагрузкой и пределами дежурств. Не ранжируйте команды по показателям поставки. Просите свидетельства, что меры контроля работают.

Клиенты и пользователи

Вы должны видеть более быстрые исправления и меньшие, более безопасные изменения. Говорите командам, что важнее всего, и давайте обратную связь об изменениях, которые вам мешают.

Agile, ИИ, автоматизация и аналитика

Agile

DevOps распространяет заботу Agile о работающем продукте за пределы выпуска — на эксплуатацию и улучшение услуги, с вовлечёнными заинтересованными сторонами и непрерывной обратной связью. Предостережение: не считайте его покупкой инструмента или новым названием команды; изменение — это культура.

ИИ

ИИ-помощники могут помогать писать код, тесты и определения инфраструктуры, резюмировать журналы и инциденты и готовить черновики руководств, с владельцем и человеческой проверкой всего, что попадает в эксплуатацию. Предостережение: помощник может внести тонкие неисправности или небезопасные шаблоны; применяйте те же проверки конвейера, что и к человеческим изменениям, и отслеживайте неудачные изменения с помощью ИИ. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.

Автоматизация

Автоматизируйте путь в эксплуатацию, создание сред, тестирование и рутинные операции, с журналами и откатом. Предостережение: автоматизация сосредоточивает власть в конвейере, поэтому контролируйте доступ к нему и рассматривайте изменения конвейера так же тщательно, как изменения услуги.

Аналитика

Смотрите на частоту развёртываний, время выполнения изменений, долю неудачных изменений и время восстановления вместе с показателями надёжности и клиентов. Предостережение: показатели поставки легко подтасовать, а сравнение команд игнорирует контекст; используйте их, чтобы найти, где улучшать. См. тему 7.3 — Измерение и отчётность и книгу Service Management Metrics.

Типичные виды сбоев

  • Команда DevOps, ставшая новым силосом. Группа берёт название, а передача остаётся. Распространяйте навыки и ответственность по командам.
  • Инструменты без культуры. Конвейер построен, а обвинения продолжаются. Работайте над общими целями и практиками разбора.
  • Постоянный героизм на дежурствах. Разработчики выгорают. Установите пределы, делите нагрузку и устраняйте причины вызовов.
  • Навязанная платформа, которая никому не нужна. Команды её обходят. Относитесь к командам как к клиентам и измеряйте добровольное использование.
  • Отказ от контролей без замены. Риск растёт, аудиторы возражают. Выполняйте назначение контроля автоматизацией и записями.
  • Показатели поставки как цели. Команды их подтасовывают. Используйте показатели для обучения.
  • Игнорирование безопасности до конца. Находки приходят поздно и блокируют релизы. Сдвигайте проверки влево.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Культура Раздельные цели у разработки и эксплуатации Общие цели в одной команде Общие цели и ответственность широко приняты Культурные практики пересматриваются по свидетельствам Разделяется между командами, поставщиками и партнёрами
Конвейер Ручные релизы Автоматические сборка и тестирование Автоматизированный путь в эксплуатацию для большинства услуг Конвейер принадлежит владельцу и улучшается как продукт Конвейеры управляются и общие по организации
Эксплуатация Раздельные дежурства Общие дежурства в одной команде Общие дежурства с пределами и поддержкой Нагрузка и причины дежурств измеряются Эксплуатация инженерно спроектирована и автоматизирована по услугам
Обучение Обвинение Редкие разборы Разборы без поиска виноватых с отслеживаемыми действиями Обучение измеряется и распространяется Обучение разделяется между командами и с поставщиками

Контрольный список

  • Разработка и эксплуатация разделяют цели по надёжности и безопасным изменениям.
  • Команда, создающая услугу, участвует в её эксплуатации в разумных пределах дежурств.
  • Всё, что меняет услугу, находится в системе контроля версий и проходит через конвейер.
  • Проверки безопасности и политик выполняются рано в конвейере.
  • Разработчики видят производственный мониторинг.
  • Мы проводим разборы без поиска виноватых и отслеживаем действия.
  • Важные меры контроля сохранены и выполняются через автоматизацию и записи.
  • У помощи ИИ в цепочке инструментов есть владелец и человеческая проверка.

Запросы к ИИ

Найдите передачи, которые стоит убрать.

Here is a description of how a change goes from "code complete" to "running in production" in our organization: [paste steps and who does each].
List each handover, what information passes across it, and what might be lost. For each, give two questions to ask the people on either side. Do not propose solutions.
List what you are unsure of.

Резюмируйте инцидент для разбора без поиска виноватых.

Below is the timeline and notes from an incident: [paste timeline with names removed].
Draft a neutral summary under these headings: what happened, how it was detected, what was done, what helped, what slowed us down, and questions for the review. Do not assign blame or state causes not in the notes.
List what you are unsure of.

Подготовьте черновик интервью с клиентами платформы.

We run an internal platform for [purpose]. Our users are [teams and roles].
Write ten open interview questions to learn what helps and hinders them, avoiding questions that suggest an answer. Add three things to listen for.
List what you are unsure of.

ИИ-навыки

  • postmortem: используйте, чтобы провести разбор без поиска виноватых с отслеживаемыми действиями.
  • shift-left-testing: используйте, чтобы сдвинуть проверки раньше в конвейере.
  • on-call-rotation: используйте, чтобы спроектировать устойчивый порядок дежурств.
  • runbook: используйте, чтобы превратить эксплуатационные знания в короткие актуальные руководства.

Ключевые источники

  • Gene Kim, Jez Humble, Patrick Debois, and John Willis, The DevOps Handbook: принципы и практики с разбором примеров.
  • Gene Kim, Kevin Behr, and George Spafford, The Phoenix Project: роман, познакомивший с этими идеями многих читателей.
  • DORA (dora.dev): исследования результативности поставки и надёжности.
  • Wikipedia, "DevOps": обзор истории и практик.

Источники

  1. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  2. Phoenix Project — Wikipedia — https://en.wikipedia.org/wiki/Phoenix_Project
  3. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  4. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  5. Shift-left testing — Wikipedia — https://en.wikipedia.org/wiki/Shift-left_testing
  6. Platform engineering — Wikipedia — https://en.wikipedia.org/wiki/Platform_engineering
  7. Werner Vogels — Wikipedia — https://en.wikipedia.org/wiki/Werner_Vogels
  8. Conway's law — Wikipedia — https://en.wikipedia.org/wiki/Conway%27s_law
  9. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  10. DORA — DevOps Research and Assessment — https://dora.dev