Почему это важно

Когда в два часа ночи отказывает сервер базы данных, первый вопрос — что от него зависит. Когда кто-то предлагает изменить сетевое правило, первый вопрос — что оно может сломать. Когда аудитор спрашивает, как устроена услуга, первый вопрос — где записана истина. Для всех трёх нужно одно и то же: актуальная заслуживающая доверия картина того, что существует и как части связаны.

Многие организации пытаются предоставить её с помощью базы данных управления конфигурациями (CMDB): базы данных элементов конфигурации и связей. Многие также обнаруживают, что она превращается в кладбище устаревших записей, ведётся вручную и никому не внушает доверия. Записи устаревают за недели, потому что реальное хозяйство меняется быстрее, чем кто-либо успевает обновить форму. CMDB становится артефактом соответствия, а не инструментом.

Практику спасают две идеи. Во-первых, считайте определение инфраструктуры кодом в системе контроля версий, чтобы источником истины было то, что создаёт систему, а не её описание. Во-вторых, наполняйте картину автоматически из обнаружения и из этого кода и используйте её для конкретных вопросов: влияние изменения, охват инцидента, владение. Эта тема объясняет практику и подводные камни. Она связана с управлением активами (тема 4.1 — Управление активами), обеспечением изменений (тема 3.4 — Обеспечение изменений), инфраструктурой как кодом (тема 6.3 — Инфраструктура как код и GitOps) и каталогом услуг (тема 3.8 — Управление каталогом услуг).

Основные понятия

Управление конфигурациями. В смысле ITIL — практика обеспечения доступности точной и надёжной информации о конфигурации услуг и поддерживающих их элементов конфигурации тогда и там, где она нужна. В инженерии «управление конфигурациями» также относится к дисциплине поддержания систем в известном согласованном состоянии. Управление конфигурациями в более широком смысле описывает Wikipedia. Это руководство использует оба смысла и говорит, какой имеется в виду.

Элемент конфигурации (CI). Любой компонент, которым нужно управлять для предоставления ИТ-услуги. Элементы конфигурации описывает Wikipedia. Примеры включают серверы, приложения, базы данных, сетевые устройства, облачные ресурсы, сертификаты, а иногда документы и договоры. У каждого CI есть атрибуты (тип, версия, владелец, статус) и связи с другими CI.

База данных управления конфигурациями (CMDB). Хранилище CI, их атрибутов и связей. CMDB описывает Wikipedia. CMDB — не электронная таблица активов: её ценность в связях, позволяющих задавать вопросы вроде «какие услуги используют эту базу данных?».

Система управления конфигурациями (CMS). Более широкий набор инструментов и данных, дающий вид конфигурации по источникам. ITIL описывает CMS, федерирующую данные из нескольких мест, а не единую базу данных. Федеративные системы баз данных как один из способов объединять источники без копирования описывает Wikipedia.

Карта услуги. Вид, показывающий, как услуга зависит от своих компонентов. Техническая карта услуги связывает приложения, базы данных, серверы и сети. Бизнес-вид связывает услуги с людьми и процессами, которые они поддерживают. Карты используются в инцидентах и изменениях. См. тему 3.8 — Управление каталогом услуг.

Базовые линии и дрейф. Базовая линия — известная утверждённая конфигурация на момент времени. Дрейф — разница между базовой линией и тем, что действительно работает, часто из-за ручных изменений. Базовые линии в управлении конфигурациями описывает Wikipedia. Обнаружение и исправление дрейфа сохраняет системы согласованными и безопасными.

Инфраструктура как код (IaC). Определение инфраструктуры, такой как серверы, сети и облачные ресурсы, в текстовых файлах, хранимых в системе контроля версий и применяемых инструментами. Инфраструктуру как код описывает Wikipedia. Инструменты вроде Terraform, Ansible и манифестов Kubernetes выражают желаемое состояние, а инструмент делает реальность соответствующей. Код — и документация, и механизм. См. тему 6.3 — Инфраструктура как код и GitOps.

Идемпотентность и желаемое состояние. Хорошие инструменты конфигурации можно запускать многократно с тем же результатом: они делают только то, что нужно для достижения описанного состояния. Идемпотентность описывает Wikipedia. Это делает безопасным повторное применение конфигурации для обнаружения и исправления дрейфа.

Источник истины. Место, где факт авторитетен. Для желаемой конфигурации это репозиторий кода; для того, что действительно работает, — обнаружение или собственное состояние платформы; для владения — каталог или реестр команд. Решите источник для каждого вида фактов и избегайте ведения одного и того же факта вручную в двух местах. Идею единого источника истины описывает Wikipedia.

Обнаружение. Инструменты, сканирующие сети, облачные учётные записи и платформы, чтобы найти, что существует и как связано. Обнаружение находит то, что никто не записал, но порождает много деталей и некоторый шум и требует правил, какие элементы оставлять и как их называть.

Связи и анализ влияния. Знание того, что приложение A использует базу данных B, позволяет спросить, что затронуто, если B изменится или откажет. Анализ влияния изменений и графы зависимостей описывает Wikipedia. Графовые базы данных, описанные в Wikipedia, — один из способов хранить связи и запрашивать их. Анализ влияния хорош ровно настолько, насколько хороши записанные связи.

Качество данных. Точность, полнота и своевременность определяют ценность данных. Определите, какие атрибуты важны и насколько свежими они должны быть. Меньший набор точных данных полезнее большого набора ненадёжных. См. тему 7.2 — Основы данных и управление данными.

Область. Не пытайтесь записать всё. Выберите CI и связи, нужные для ваших решений: критические услуги, их главные компоненты и владение. Расширяйте по мере демонстрации ценности.

Владение. У каждого CI или группы есть владелец, отвечающий за него и за данные о нём. Без владения данные разрушаются.

Контейнеры и облако. Современные платформы постоянно создают и уничтожают ресурсы. Запись об отдельном контейнере через час бессмысленна. Отслеживайте на уровне, который важен, например услугу и развёртывание, и используйте метки и теги для связи ресурсов с владельцами и услугами.

Как вписываются линзы. Управление конфигурациями поддерживает гибкую и непрерывную поставку, делая среды воспроизводимыми. ИИ может помогать обнаруживать связи, предлагать недостающие звенья и отвечать на вопросы о влиянии под проверкой. Автоматизация применяет конфигурацию и поддерживает картину актуальной. Аналитика использует данные для поиска рисков и затрат.

Лучшие практики

  1. Начинайте с вопросов, на которые нужно отвечать. Перечислите решения, которые поддержат данные, такие как влияние изменения, охват инцидента и владение. Записывайте только то, что на них отвечает.
  2. Считайте код источником истины для желаемого состояния. Определяйте инфраструктуру и конфигурацию в системе контроля версий, рассматривайте изменения и применяйте их инструментами. Избегайте ручных изменений на работающих системах.
  3. Наполняйте картину автоматически. Используйте обнаружение и данные платформы для питания CMDB или карты услуги и сверяйте с кодом. Ограничьте ручной ввод фактами, которые нельзя обнаружить, такими как владение.
  4. Определите источник каждого факта. Для каждого атрибута решите, где он авторитетен и где допускаются копии. Показывайте источник и время последнего обновления.
  5. Сначала картируйте критические услуги. Стройте карты услуг для самых важных услуг, включая зависимости от поставщиков и общих платформ. Проверяйте их на реальном инциденте или изменении.
  6. Обнаруживайте и исправляйте дрейф. Сравнивайте фактическое состояние с желаемым по расписанию и оповещайте о различиях. Считайте повторяющийся дрейф сигналом о процессе или доступе.
  7. Назовите владельца каждого элемента и качества данных. Показывайте владельцев в записях. Регулярно просматривайте устаревшие записи и сирот.
  8. Связывайте конфигурацию с записями изменений и инцидентов. Облегчите возможность видеть из изменения, каких CI оно касается, а из инцидента — какие CI вовлечены. Проверяйте, что связями пользуются.
  9. Последовательно используйте метки и теги. В облачных средах требуйте теги владельца, услуги и среды при создании и обеспечивайте их в конвейере.
  10. Измеряйте полезность. Отслеживайте, как часто данные используются в изменениях и инцидентах и как часто они оказывались неверными. Устраняйте причины и выводите данные, которыми никто не пользуется.

Вопросы для обсуждения с командой

Какие решения мы хотим поддерживать данными о конфигурации и поддерживают ли они их сегодня? Начните с использования. Ожидайте ответов вроде влияния изменения и охвата инцидента. Попробуйте на недавнем изменении. В продолжение выберите одно использование и проверьте на нём данные.

Где настоящее описание нашей инфраструктуры: в коде, в базе данных, в головах людей? Спросите источник истины для трёх систем. Ожидайте нескольких ответов. В продолжение выберите одну систему и перенесите её определение в систему контроля версий.

Когда CMDB в последний раз ввела нас в заблуждение и почему? Попросите реальный случай. Ожидайте устаревших или отсутствующих связей. Ищите причину, например ручной ввод. В продолжение выберите один источник данных для автоматизации.

Как мы узнаём, когда кто-то меняет работающую систему вручную? Вопрос проверяет обнаружение дрейфа. Ожидайте «никак». В продолжение договоритесь о сканировании одной системы и правиле, что происходит дальше.

Кто владеет каждым из наших критических элементов конфигурации и как мы нашли бы владельца в три часа ночи? Спросите, где записано владение. Проверьте на нескольких элементах. В продолжение добавьте теги владельца и проверьте их.

Как ИИ мог бы помочь поддерживать точность нашей картины конфигурации и что мы проверяли бы вручную? ИИ может предлагать связи и замечать аномалии. Он также может выдумывать связи. Спросите, кто владеет применением и как находят ошибки. В продолжение сравните связи, предложенные ИИ, с проверенной вручную картой одной услуги.

На практике: пример управления услугами

Цифровая команда национальной железной дороги ведёт билетную платформу из примерно 60 услуг у двух облачных провайдеров и в старом локальном центре обработки данных. В CMDB 40 000 записей, в основном введённых вручную, и команда эксплуатации говорит, что она ошибается примерно в трети случаев. Во время недавнего сбоя отказавшая очередь сообщений остановила продажу билетов; никто не понимал, что ею пользуется и программа лояльности, пока не пожаловались клиенты.

Руководитель платформы ставит более узкую цель: для десяти самых критических услуг карта должна быть достаточно верной, чтобы ответить на вопрос «что затронуто, если откажет этот компонент?» за пять минут. Команда определяет каждую из десяти услуг в коде, с владельцами и зависимостями, объявленными как теги в определениях. Ночное задание читает облачную платформу и репозиторий кода, строит карту и отмечает различия между ними. Центр обработки данных охвачен обнаружением, и его выход сопоставляется с теми же названиями услуг с ручной проверкой для новых элементов.

За квартал карта для десяти услуг становится заслуживающей доверия. При следующем инциденте отказавшая база данных услуги платежей показывает пять услуг, читающих из неё, и команда уведомляет их владельцев за минуты. Отчёт о дрейфе находит 14 ручных изменений в эксплуатации, три из которых — правила групп безопасности, открытые во время старого инцидента и никогда не закрытые.

Что изменилось: инциденты и изменения теперь начинаются с карты, а старая CMDB для этих услуг выведена. Что остаётся трудным: остальные 50 услуг ещё не охвачены, а владеющие ими команды не видят смысла в этой работе; обнаружение центра обработки данных по-прежнему даёт шум; а некоторые зависимости, такие как API поставщика, нельзя обнаружить, и их вносят вручную. Руководитель платформы выбирает следующие десять услуг по истории инцидентов и договаривается о времени с их владельцами.

Четыре перспективы

Команды продукта и поставки

Определяйте инфраструктуру и конфигурацию в коде, помечайте ресурсы владельцами и услугами и избегайте ручных изменений на работающих системах. Поддерживайте информацию о зависимостях актуальной как часть проекта.

Команды услуг и эксплуатации

Используйте карту в инцидентах и изменениях и сообщайте, где она неверна. Обнаруживайте дрейф, закрывайте временные изменения и поддерживайте данные о владении актуальными.

Руководство и управление

Просите свидетельства использования и точности данных, а не подсчёт записей. Финансируйте автоматизацию и дисциплину владения. Поддерживайте правило, что изменения работающих систем идут через код.

Клиенты и пользователи

Вы выигрываете, когда поставщики знают, что от чего зависит: быстрая диагностика и меньше сюрпризов от изменений. Спросите, есть ли у услуг, на которые вы полагаетесь, владельцы и карты влияния.

Agile, ИИ, автоматизация и аналитика

Agile

Стройте картину небольшими шагами, начиная с самых критических услуг, и улучшайте её вместе с теми, кто ею пользуется. Пересматривайте её полезность после инцидентов. Предостережение: проект CMDB «большим взрывом» повторяет старые неудачи; начните с вопросов и нескольких услуг.

ИИ

ИИ может предлагать связи по журналам и трассировкам, отвечать на вопросы о влиянии на естественном языке и находить выбросы, с владельцем и проверкой человеком. Предостережение: ИИ может выводить несуществующие зависимости или пропускать реальные; сверяйте с известными инцидентами. См. тему 5.2 — AIOps.

Автоматизация

Автоматизируйте обнаружение, сверку, обнаружение дрейфа и обеспечение тегов, с журналами и рассмотрением исключений. Предостережение: автоматический импорт может затопить базу данных малоценными записями; фильтруйте по тому, что поддерживает решения. См. тему 6.3 — Инфраструктура как код и GitOps.

Аналитика

Смотрите на полноту данных для критических услуг, точность, выявленную в инцидентах, число случаев дрейфа, время поиска владельца и использование данных в изменениях. Предостережение: подсчёт записей или заполненных полей поощряет объём вместо точности; измеряйте, как часто данные помогали и как часто вводили в заблуждение. См. книгу Service Management Metrics и тему 7.2 — Основы данных и управление данными.

Типичные виды сбоев

  • CMDB, заполняемая вручную. Данные быстро разрушаются. Наполняйте обнаружением и кодом.
  • Запись всего. Шум скрывает ценность. Ограничьте область решениями.
  • Два источника одного факта. Они расходятся. Объявите один источник.
  • Нет владения. Никто не исправляет ошибки. Назначьте владельцев.
  • Ручные изменения работающих систем. Дрейф растёт. Меняйте через код и обнаруживайте дрейф.
  • Отсутствуют связи. Анализ влияния не работает. Сначала картируйте критические услуги.
  • Отслеживание эфемерных ресурсов. Записи мгновенно устаревают. Отслеживайте на уровне услуги, с тегами.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Область Неясна Перечислены основные серверы Критические услуги и зависимости картированы Область расширяется по ценности и инцидентам Широкий охват по имуществу и поставщикам
Источник истины Электронные таблицы и память Часть инфраструктуры в коде Желаемое состояние в коде, фактическое — по обнаружению Сверка автоматизирована и отслеживается Единый скоординированный вид, питаемый кодом, обнаружением и платформами
Качество данных Неизвестно Выборочные проверки Определены атрибуты и свежесть Точность измеряется в инцидентах и изменениях Качество непрерывно обеспечивается с проверкой человеком
Использование Редко используется Используется в некоторых инцидентах Рутинно используется в изменениях и инцидентах Использование и ценность отслеживаются Данные определяют риск, затраты и планирование по услугам

Контрольный список

  • Мы перечислили вопросы, на которые должны отвечать данные о конфигурации.
  • Желаемое состояние ключевых систем живёт в системе контроля версий.
  • Обнаружение питает наши карты услуг и сверяется с кодом.
  • У каждого факта есть определённый источник истины.
  • У критических услуг есть картированные зависимости, проверенные на реальных событиях.
  • Мы обнаруживаем и исправляем дрейф конфигурации.
  • У каждого элемента конфигурации или группы есть владелец.
  • Мы измеряем, как часто данные помогают и как часто вводят в заблуждение.

Запросы к ИИ

Найдите недостающие зависимости по инциденту.

Here is the timeline of an incident, with the services that were affected: [paste]. Here is our service map for the failing component: [paste].
List affected services that the map does not show as dependent on the failing component, and for each give a question to verify the link. Do not infer dependencies without evidence in the timeline.
List what you are unsure of.

Сравните желаемое и фактическое состояние.

Here is the desired configuration from our code: [paste]. Here is what discovery found running: [paste].
List differences by type (missing, extra, changed), and for each one a question about why it differs. Do not recommend fixes.
List what you are unsure of.

Подготовьте черновик правил тегов владельцев.

Our cloud resources are used by these teams and services: [list]. Tags we want on every resource: [list].
Draft a tagging standard of under one page with rules, allowed values, and how to enforce it in the pipeline. Do not name specific tools unless I list them.
List what you are unsure of.

ИИ-навыки

  • configuration-management: используйте, чтобы проектировать и поддерживать записи конфигурации и связи.
  • workflow-analysis: используйте, чтобы прослеживать зависимости в процессе или системе.
  • mermaid-diagram: используйте, чтобы рисовать карты услуг текстом.
  • data-quality: используйте, чтобы определять и проверять качество данных конфигурации.

Ключевые источники

  • PeopleCert, ITIL certification pages: описание практики управления конфигурациями услуг от владельца.
  • Kief Morris, Infrastructure as Code (2nd edition, 2020): практическое руководство по определению и управлению инфраструктурой в коде.
  • Wikipedia, "Configuration management" и "Configuration management database": обзоры идей.
  • Wikipedia, "Infrastructure as code": инженерный подход к желаемому состоянию.

Источники

  1. Configuration management — Wikipedia — https://en.wikipedia.org/wiki/Configuration_management
  2. Configuration management database — Wikipedia — https://en.wikipedia.org/wiki/Configuration_management_database
  3. Configuration item — Wikipedia — https://en.wikipedia.org/wiki/Configuration_item
  4. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  5. Baseline (configuration management) — Wikipedia — https://en.wikipedia.org/wiki/Baseline_(configuration_management)
  6. Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
  7. Single source of truth — Wikipedia — https://en.wikipedia.org/wiki/Single_source_of_truth
  8. Change impact analysis — Wikipedia — https://en.wikipedia.org/wiki/Change_impact_analysis
  9. Graph database — Wikipedia — https://en.wikipedia.org/wiki/Graph_database
  10. Federated database system — Wikipedia — https://en.wikipedia.org/wiki/Federated_database_system
  11. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality