Почему это важно

Долгое время инфраструктуру строили вручную. Инженер входил на сервер, устанавливал пакеты, правил конфигурацию и шёл дальше. Сервер становился уникальным объектом с историей, жившей в памяти инженера и в нескольких заметках. Когда он отказывал, его перестраивали по памяти. Когда нужен был второй сервер, это была копия, отличавшаяся в мелочах, которые никто не мог перечислить. Диагностика означала выяснение, как две «одинаковые» системы стали вести себя по-разному.

Инфраструктура как код (IaC) заменяет это текстом. Желаемое состояние инфраструктуры записывается в файлах, хранится в системе контроля версий, рассматривается как программное обеспечение и применяется инструментами. Перестройка среды превращается в команду. Вторая копия — те же файлы с другими значениями. Изменение — запрос на слияние с рецензентом, тестом и записью. Wikipedia описывает инфраструктуру как код как управление инфраструктурой и её выделение через машиночитаемые файлы определений, а не интерактивную настройку.

GitOps проводит идею на шаг дальше. Репозиторий объявляется единственным источником истины для желаемого состояния, а программное обеспечение следит за ним и за живой системой и приводит систему в соответствие. Никто не меняет эксплуатацию вручную; они меняют репозиторий. Это даёт управлению услугами многое: журнал аудита каждого изменения, быстрое восстановление, согласованность между средами и естественное место для согласования изменений. Оно также вносит новые риски, такие как секреты в репозиториях и ошибки, применяемые сразу везде. Эта тема объясняет идеи и то, как внедрять их осторожно. Она опирается на управление конфигурациями (тема 4.4 — Управление конфигурациями), непрерывную поставку (тема 2.2 — Непрерывная поставка) и обеспечение изменений (тема 3.4 — Обеспечение изменений) и ведёт к конвейерам (тема 6.4 — Конвейеры и автоматизированные изменения).

Основные понятия

Инфраструктура как код (IaC). Определение инфраструктуры в коде или файлах конфигурации, которые инструменты читают и применяют. Охватывает серверы, сети, хранилища, базы данных, правила доступа и настройки платформ. Подход и его историю описывает Wikipedia. Файлы — и документация, и механизм.

Декларативное и императивное. Декларативное определение указывает, каким должно быть конечное состояние («за этим балансировщиком три сервера такого типа»); инструмент сам вычисляет, как туда попасть. Императивное определение указывает шаги. Декларативное и императивное программирование описывает Wikipedia. Декларативные инструменты проще осмыслять и безопасно повторять, а императивные скрипты дают больше контроля для необычных задач. Многие команды используют оба.

Инструменты. Примеры: Terraform, выделяющий облачные ресурсы, Ansible, настраивающий системы, и Kubernetes, запускающий контейнеры по объявленным манифестам. Каждый описывает Wikipedia. Ландшафт инструментов быстро меняется; выбирайте по соответствию, поддержке и имеющимся навыкам и держите определения настолько переносимыми, насколько практично.

Желаемое состояние, фактическое состояние и дрейф. Желаемое состояние — то, что говорит код; фактическое — то, что работает. Дрейф — разница, обычно из-за ручных изменений или сбоев. Обнаружение и исправление дрейфа — основная выгода IaC. См. тему 4.4 — Управление конфигурациями.

Идемпотентность. Многократное применение одного и того же определения даёт тот же результат. Идемпотентность описывает Wikipedia. Именно это делает безопасным повторный запуск применения для исправления дрейфа.

Файлы состояния. Некоторые инструменты ведут запись ресурсов, которыми управляют, и сравнивают её с определением. Обращайтесь с ней осторожно: она может содержать чувствительные данные, не должна правиться вручную и нуждается в блокировке, чтобы двое не применяли одновременно.

Неизменяемая инфраструктура. Вместо изменения работающего сервера вы строите новый из известного образа и заменяете старый. Это избегает дрейфа и упрощает откат: переключитесь обратно. Лучше всего работает с виртуальными машинами и контейнерами, описанными в Wikipedia, и хорошо собранными образами.

Контроль версий и рецензирование. Определения живут в системе контроля версий, такой как Git, которую Wikipedia описывает как распределённую систему контроля версий. Изменения проходят через ветки и рецензии, описываемые как запросы на слияние и проверка кода. История показывает, кто что изменил, когда и почему, что поддерживает аудит и обучение. См. тему 3.4 — Обеспечение изменений.

GitOps. Операционный подход, при котором репозиторий Git хранит желаемое состояние, а автоматический агент поддерживает живую систему в соответствии с ним. Изменения вносятся только изменением репозитория; агент забирает и применяет их и отменяет ручные изменения. GitOps упоминает Wikipedia в статье о DevOps. Конструкция на основе вытягивания означает, что производственная система сама забирает свою конфигурацию, поэтому учётным данным для эксплуатации не нужно жить в системе сборки. Подробности подхода смотрите в документации проекта.

Циклы согласования. Контроллер, многократно сравнивающий желаемое и фактическое состояния и действующий для закрытия разрыва. Идея происходит из теории управления, описанной в Wikipedia, и лежит в основе работы Kubernetes и инструментов GitOps. Циклы устойчивы, но могут и быстро повторять плохое изменение.

Среды и продвижение. Одни и те же определения с разными значениями создают среды разработки, тестирования и эксплуатации. Изменения продвигаются через них. Согласованность сред делает тесты содержательнее. См. тему 3.5 — Управление релизами и развертыванием.

Политика как код. Правила о том, что разрешено, например «никакого публичного хранилища» или «все ресурсы должны быть помечены», записанные как код и автоматически проверяемые перед применением изменений. Это ставит меры контроля туда, где вносится изменение, и производит свидетельства. См. тему 6.4 — Конвейеры и автоматизированные изменения.

Секреты. Пароли, ключи и токены нельзя хранить открытым текстом в репозиториях. Используйте менеджер секретов или шифрование и давайте автоматизации минимальный краткосрочный доступ. См. тему 3.13 — Управление информационной безопасностью.

Модули и повторное использование. Общие проверенные модули для частых шаблонов, например стандартной сети или базы данных, ускоряют работу и обеспечивают стандарты. Им нужны владелец, версии и примечания к выпуску.

Радиус поражения. Ошибка в общем определении может затронуть сразу много систем. Ограничивайте это разделением состояния на меньшие единицы, поэтапным выкатыванием и требованием рецензии для общих модулей.

Тестирование кода инфраструктуры. Методы включают проверки синтаксиса и политик, план или предварительный просмотр изменений до применения, тесты в одноразовых средах и проверки после применения. Родственные идеи описывает Wikipedia в статье об автоматизации тестирования. См. тему 2.2 — Непрерывная поставка.

Как вписываются линзы. IaC и GitOps — инженерная база гибкой эксплуатации: небольшие рассмотренные обратимые изменения. ИИ может готовить черновики определений и объяснять планы под проверкой. Автоматизация применяет их. Аналитика читает историю для частоты изменений и сбоев.

Лучшие практики

  1. Помещайте каждое изменение в код. Сделайте репозиторий путём изменений важных систем и запретите ручные изменения, кроме определённых экстренных случаев. Записывайте экстренные изменения и возвращайте их в код.
  2. Используйте рецензию и небольшие изменения. Требуйте второго человека для рассмотрения каждого изменения и держите изменения достаточно малыми, чтобы их понять. Показывайте предварительный просмотр того, что изменится.
  3. Предпочитайте декларативные определения и идемпотентные шаги. Их легче повторять и проверять на дрейф. Используйте императивные скрипты для задач, которым они нужны, осторожно.
  4. Обнаруживайте и исправляйте дрейф. Сравнивайте фактическое состояние с желаемым по расписанию или непрерывно. Для каждого вида дрейфа решите, откатывать автоматически или оповещать.
  5. Держите секреты вне кода. Используйте менеджер секретов, шифруйте где нужно, давайте автоматизации краткосрочные учётные данные и сканируйте репозитории на утёкшие секреты.
  6. Защищайте состояние и репозиторий. Ограничьте, кто может менять производственные определения и состояние, обеспечьте защиту веток и делайте резервные копии репозитория и состояния.
  7. Тестируйте до применения. Запускайте проверки политик, предварительные просмотры и тесты в одноразовых средах. Проверяйте план на неожиданные удаления.
  8. Ограничивайте радиус поражения. Разделяйте определения на единицы, которые могут отказывать независимо, выкатывайте поэтапно и защищайте критические ресурсы от случайного удаления.
  9. Повторно используйте проверенные модули с владельцами. Публикуйте версионируемые модули для стандартных шаблонов с документацией и примечаниями к выпуску и выводите старые версии.
  10. Планируйте восстановление. Репетируйте перестройку среды из кода, включая восстановление данных, и замеряйте время. Включайте репозиторий и инструменты в ваши планы непрерывности. См. тему 3.12 — Управление непрерывностью услуг.

Вопросы для обсуждения с командой

Какие из наших систем мы могли бы перестроить из кода сегодня, а какие только по памяти? Составьте список. Ожидайте, что многие зависят от одного человека. В продолжение выберите одну систему и определите её в коде.

Когда кто-то в последний раз менял эксплуатацию вручную и как мы об этом узнали? Попросите истории. Ожидайте, что никто этого не отслеживает. В продолжение добавьте обнаружение дрейфа в одну среду и договоритесь, что происходит при различии.

Где секрет мог бы лежать в репозитории или файле состояния? Поищите вместе. Ожидайте сюрпризов. В продолжение просканируйте репозитории и перенесите находки в менеджер секретов.

Какое самое крупное изменение может внести одно применение и как мы его ограничим? Подумайте об общих модулях и монолитных состояниях. Ожидайте неудобных ответов. В продолжение разделите одно большое состояние на меньшие.

Как мы рассматриваем изменения инфраструктуры и на что рецензент на самом деле смотрит? Попросите недавнюю рецензию. Ожидайте быстрого одобрения. В продолжение договоритесь, что рецензент должен проверять, например вывод плана и влияние на безопасность.

Где ИИ мог бы помочь нам писать или рассматривать код инфраструктуры и как мы его проверяем? ИИ может готовить черновики определений и объяснять планы. Он также может давать небезопасные значения по умолчанию или неверные настройки ресурсов. Спросите, кто проверяет и какие проверки выполняются. В продолжение пропускайте код, составленный ИИ, через те же проверки политик, что и любой другой.

На практике: пример управления услугами

Цифровая команда национальной библиотеки ведёт службу поиска по каталогу в публичном облаке. Среды были построены вручную в течение нескольких лет. Тестовая среда отличается от эксплуатационной так, что никто не может перечислить, и недавний сбой был прослежен до изменения группы безопасности, сделанного вручную во время прежнего инцидента и никогда не записанного.

Руководитель платформы решает определить одну среду в коде как пилот. С помощью декларативного инструмента команда описывает сеть, вычисления, базу данных и правила доступа тестовой среды, импортирует существующие ресурсы и помещает код в репозиторий с защитой веток и обязательной рецензией. Конвейер выполняет проверки политик, такие как отсутствие публичного хранилища и обязательные теги, и показывает план в каждом запросе на слияние. Секреты переносятся в менеджер секретов облачного провайдера.

Затем они добавляют обнаружение дрейфа: ночное задание сравнивает код с фактическим состоянием облака и публикует различия в канал команды. В первую неделю оно находит одиннадцать ручных изменений. Восемь безвредны, два — устаревшие тестовые ресурсы, а одно — открытое правило файрвола на порту базы данных. Они исправляют правило и удаляют ресурсы.

Через три месяца эксплуатация также в коде, а контроллер в стиле GitOps на контейнерной платформе применяет одобренные изменения из репозитория. Перестройка тестовой среды с нуля занимает 40 минут. Команда репетирует перестройку эксплуатации в отдельной учётной записи с восстановлением данных за полдня.

Что изменилось: история изменений находится в репозитории, рецензии реальны, а две среды совпадают. Что остаётся трудным: старый сервер базы данных плохо поддерживается инструментами и остаётся частично ручным; файл состояния однажды содержал открытый пароль от более раннего импорта, который команде пришлось сменить; а один инженер применил изменение с ноутбука другой версией инструмента, что дало неожиданные различия. Руководитель добавляет зафиксированную версию инструмента в конвейере, правило, что применения идут только из конвейера, и сканирование состояния на секреты.

Четыре перспективы

Команды продукта и поставки

Определяйте инфраструктуру вашей услуги в коде рядом с приложением, рассматривайте её и тестируйте в одноразовых средах. Избегайте ручных изменений. Включайте теги, владение и настройки безопасности в определение.

Команды услуг и эксплуатации

Используйте репозиторий как запись изменений и обнаруживайте дрейф. Тщательно рассматривайте планы, защищайте состояние и секреты и репетируйте перестройки. Держите экстренные изменения редкими и возвращайте их в код.

Руководство и управление

Просите свидетельства из репозитория и конвейера вместо совещаний. Финансируйте инструменты, обучение и репетиции. Ясно давайте понять, что ручные изменения эксплуатации — исключения, которые нужно записывать.

Клиенты и пользователи

Вы выигрываете от сред, ведущих себя одинаково, и от более быстрого восстановления. Вы должны видеть меньше сюрпризов после изменений и получать чёткие уведомления о значимых.

Agile, ИИ, автоматизация и аналитика

Agile

Небольшие рассмотренные обратимые изменения инфраструктуры с быстрой обратной связью — эксплуатационная форма непрерывной поставки. Стройте определения постепенно, начиная с самой болезненной среды. Предостережение: массовая миграция всех систем в код одновременно рискованна; переходите по одной.

ИИ

ИИ может готовить черновики определений, объяснять план и предлагать правила политик, а человек рассматривает каждое изменение. Назовите владельца каждого применения. Предостережение: сгенерированный код инфраструктуры может быть небезопасен по умолчанию или удалять ресурсы; применяйте те же проверки политик и читайте план. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.

Автоматизация

IaC и GitOps — автоматизация самой инфраструктуры. Держите контроллеры и конвейеры с минимальными правами, журналами и защитой, поскольку они могут менять всё. Предостережение: автоматический согласователь может применить ошибку везде; выкатывайте поэтапно и имейте способ его приостановить. См. тему 6.4 — Конвейеры и автоматизированные изменения.

Аналитика

Смотрите на частоту изменений, долю сбоев, время перестройки, число случаев дрейфа, время обнаружения ручных изменений и нарушения политик. Предостережение: подсчёт коммитов поощряет активность, а малое число случаев дрейфа может отражать слабый детектор; проверяйте обнаружение известным изменением. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.

Типичные виды сбоев

  • Гибридная реальность. Часть изменений в коде, часть вручную. Дрейф растёт. Сделайте код единственным путём и обнаруживайте дрейф.
  • Секреты в репозитории. Учётные данные утекают. Используйте менеджер секретов и сканируйте.
  • Огромное общее состояние. Одно изменение затрагивает всё. Разделите на меньшие единицы.
  • Нерассмотренные изменения. Ошибки доходят до эксплуатации. Требуйте рецензии и показывайте план.
  • Незафиксированные инструменты и модули. Поведение неожиданно меняется. Фиксируйте версии.
  • Никогда не перестраивалось. Восстановление не срабатывает, когда нужно. Репетируйте перестройку.
  • Конвейер как суперпользователь. Скомпрометированный конвейер владеет эксплуатацией. Ограничьте права и защитите его.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Охват Вручную Некоторые ресурсы в коде Большинство важных систем определено в коде Охват и исключения отслеживаются Всё хозяйство определено и управляется как код
Контроль Нет рецензии Рецензия коллег Рецензия, предварительный просмотр плана и проверки политик на каждое изменение Дрейф обнаруживается, по нему действуют Согласование с человеческим надзором по средам
Безопасность Секреты в коде Осведомлённость Секреты управляются и сканируются, автоматизация с минимальными правами Находки отслеживаются до закрытия Безопасность и политики встроены в общие модули
Восстановление Перестройка по памяти Документировано Перестройка отрепетирована и замерена Время восстановления измеряется и улучшается Восстановление автоматизировано по средам и регионам

Контрольный список

  • Важные системы определены в коде в системе контроля версий.
  • Каждое изменение рассматривается и показывает предварительный просмотр плана.
  • Ручные изменения эксплуатации запрещены, кроме записанных экстренных.
  • Дрейф обнаруживается по расписанию и обрабатывается по правилу.
  • Секреты находятся в менеджере, а репозитории и состояние сканируются.
  • Инструменты и модули зафиксированы и имеют владельцев.
  • Определения разделены, чтобы ограничить радиус поражения.
  • Мы репетируем перестройку среды и записываем время.

Запросы к ИИ

Просмотрите вывод плана.

Here is the plan output from an infrastructure change: [paste].
List resources to be created, changed, and destroyed, highlight any deletion or replacement of a data store or network component, and list questions a reviewer should ask. Do not approve or reject.
List what you are unsure of.

Подготовьте черновик правил политик по требованиям.

Our requirements: [list, such as no public storage, tags required, encryption at rest]. Our tool: [name, or "undecided"].
Write each requirement as a plain-language rule with one example of a violation, and describe how to test the rule. Do not write code unless I name the tool.
List what you are unsure of.

Резюмируйте находки дрейфа.

Here is a drift report listing differences between code and the running environment: [paste].
Group the differences by type (extra resource, changed setting, missing resource), flag any that touch access, network, or encryption, and write one question per group for the team. Do not recommend fixes.
List what you are unsure of.

ИИ-навыки

  • configuration-management: используйте, чтобы связать определения в коде с услугами, которые они поддерживают.
  • change-request: используйте, чтобы ясно описывать изменения инфраструктуры для рассмотрения.
  • security-testing: используйте, чтобы планировать проверки кода инфраструктуры и секретов.
  • disaster-recovery-testing: используйте, чтобы репетировать перестройку из кода.
  • runbook: используйте, чтобы документировать экстренные ручные процедуры, которые остаются.

Ключевые источники

  • Kief Morris, Infrastructure as Code (2nd edition, 2020): практическое руководство по определению и управлению инфраструктурой.
  • Jez Humble and David Farley, Continuous Delivery (2010): основы воспроизводимых сред и конвейеров.
  • Документация используемых вами инструментов, таких как Terraform, Ansible и Kubernetes: авторитетный источник об их поведении.
  • Wikipedia, "Infrastructure as code": обзор подхода.

Источники

  1. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  2. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  3. Declarative programming — Wikipedia — https://en.wikipedia.org/wiki/Declarative_programming
  4. Imperative programming — Wikipedia — https://en.wikipedia.org/wiki/Imperative_programming
  5. Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
  6. Git — Wikipedia — https://en.wikipedia.org/wiki/Git
  7. Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
  8. Code review — Wikipedia — https://en.wikipedia.org/wiki/Code_review
  9. Containerization (computing) — Wikipedia — https://en.wikipedia.org/wiki/Containerization_(computing)
  10. Control theory — Wikipedia — https://en.wikipedia.org/wiki/Control_theory
  11. Kubernetes — Wikipedia — https://en.wikipedia.org/wiki/Kubernetes
  12. Terraform (software) — Wikipedia — https://en.wikipedia.org/wiki/Terraform_(software)