Управление непрерывностью услуг
Управление непрерывностью услуг готовит организацию поддерживать работу критических услуг или восстанавливать их в согласованный срок после серьёзного нарушения; оно работает, когда целевые показатели восстановления исходят из влияния на бизнес, планы репетируются, а резервные копии доказываются восстановлением из них.
Почему это важно
Большинство инцидентов невелики: отказавший диск, плохой релиз, истёкший сертификат. Некоторые — нет. Центр обработки данных теряет питание на сутки. Отказывает облачный регион. Вымогатель шифрует основные системы. Разоряется поставщик. Пандемия не пускает сотрудников в офисы. Такие события угрожают организации, а не только услуге, и происходят достаточно редко, чтобы люди забывали к ним готовиться.
Подготовка — форма страхования с особой чертой: её ценность проявляется только в день, когда она нужна, а план, который никогда не пробовали, вероятно, не сработает. Резервные копии, которые никогда не восстанавливали, оказываются пустыми. Переключение, которое никогда не репетировали, занимает день вместо часа. Список вызова содержит людей, которые ушли. Команды, тренировавшиеся, находят проблемы на тренировке, а не в кризисе.
Эта тема объясняет, как решить, что защищать, как задавать целевые показатели восстановления, как планировать и репетировать и как разумно включать ИИ и автоматизацию. В ITIL 4 практика называется управлением непрерывностью услуг. В более широком употреблении вы также встретите управление непрерывностью бизнеса, аварийное восстановление и устойчивость. Они пересекаются, и эта тема описывает, как они соотносятся. Она связана с доступностью (тема 3.11 — Доступность, емкость и производительность), управлением инцидентами (тема 3.2 — Управление инцидентами) и информационной безопасностью (тема 3.13 — Управление информационной безопасностью).
Основные понятия
Непрерывность услуг. В ITIL 4 — обеспечение того, чтобы доступность и производительность услуги поддерживались на достаточном уровне в случае катастрофы. Практика включает оценку рисков и влияния, планирование восстановления и репетиции.
Непрерывность бизнеса и аварийное восстановление. Планирование непрерывности бизнеса, описанное в Wikipedia, охватывает то, как организация поддерживает критические функции или быстро возобновляет их во время и после нарушения. Аварийное восстановление — ИТ-часть: восстановление систем, данных и инфраструктуры. Непрерывность бизнеса спрашивает «как нам продолжать обслуживать клиентов?»; аварийное восстановление спрашивает «как вернуть системы?». ISO 22301 — международный стандарт систем менеджмента непрерывности бизнеса, описанный в Wikipedia; его связь с ISO/IEC 20000 рассматривается в теме 1.8 — Фреймворки и стандарты управления услугами.
Анализ влияния на бизнес (BIA). Исследование того, что происходит с организацией, если каждая функция или услуга недоступна заданное время. Он выявляет, какие услуги критичны и как быстро их надо восстанавливать. В анализе участвует бизнес, а не только ИТ, поскольку только бизнес знает влияние потерянного часа или дня.
Целевое время восстановления (RTO). Целевой максимальный срок восстановления услуги после нарушения. Его описывает Wikipedia в статье об аварийном восстановлении ИТ. Оно исходит из анализа влияния: если час простоя стоит очень дорого, RTO короткое, а решение дорогое.
Целевая точка восстановления (RPO). Максимально допустимый объём потери данных, измеряемый во времени. RPO в 15 минут означает, что после восстановления могут отсутствовать данные не более чем за 15 минут. Оно определяет, как часто нужно копировать данные.
Затраты и компромиссы. Более короткие RTO и RPO стоят дороже: больше резервирования, репликации, тестирования. Показывайте стоимость каждого варианта тем, кто решает, и записывайте решение. См. тему 4.5 — Финансовое управление и FinOps.
Резервное копирование и репликация. Резервные копии — копии данных, хранимые для восстановления после потери или повреждения. Репликация поддерживает вторую копию, непрерывно обновляемую в другом месте. Оба описывает Wikipedia. Репликация не заменяет резервное копирование: если порча или шифрование вымогателем реплицируются, копия тоже повреждена. Держите хотя бы одну резервную копию, которую нельзя изменить из производственной среды, и проверяйте восстановление из неё.
Площадки и шаблоны восстановления. Варианты варьируются от резервной площадки, которая всегда работает, через ту, что может быть запущена за часы, до восстановления из резервной копии в новую среду. Облачные услуги упрощают несколько шаблонов, например воссоздание инфраструктуры из кода. См. тему 6.3 — Инфраструктура как код и GitOps. Резервные площадки описывает Wikipedia.
Зависимости. Критическая услуга зависит от других: идентификации, сетей, DNS, поставщиков, сертификатов и людей. Планы восстановления должны следовать этим зависимостям и упорядочивать восстановление. Многие неудачные восстановления застревают на забытой зависимости, например на системе, хранящей пароли, нужные для восстановления остальных.
Планы и сценарии. Письменные краткие инструкции о том, кто что делает, в каком порядке и с кем связываться. Их нужно хранить там, где их можно прочитать, когда системы недоступны, включая автономные копии. Роли должны быть названы, с заместителями.
Учения. Репетиции варьируются от разбора сценария в виде обсуждения до симуляции и до реального переключения или восстановления. Хаос-инженерию, при которой сбои вносятся намеренно и под контролем, чтобы находить слабости, описывает Wikipedia. Начинайте с малого и безопасного и со временем повышайте реалистичность. Записывайте, что произошло, и исправляйте то, чему научились.
Управление кризисом и коммуникация. Крупное нарушение требует решений руководства, коммуникации с сотрудниками, клиентами, регуляторами и общественностью и координации между функциями. Область описывает статья Wikipedia об антикризисном управлении. Заранее решите, кто говорит и как. См. тему 3.2 — Управление инцидентами.
Кибер-события. Вымогатели и другие атаки теперь — ведущая причина серьёзных нарушений. Wikipedia описывает вымогательское ПО как вредоносное, шифрующее данные и требующее оплаты. Восстановление после такой атаки требует чистых резервных копий, изоляции затронутых систем, перестройки доверенной инфраструктуры и координации с безопасностью. Проверьте закон и рекомендации, применимые к вам, включая сообщения об инцидентах; это руководство не даёт юридических советов.
Поставщики. Ваша непрерывность зависит от непрерывности ваших поставщиков. Спрашивайте об их планах и включайте их в учения, где возможно. См. тему 3.14 — Управление поставщиками.
Как вписываются линзы. Непрерывность — место, где гибкая итерация встречает готовность: улучшайте план после каждого учения. ИИ может помогать готовить черновики планов и сценариев под проверкой, но на него нельзя полагаться во время кризиса. Автоматизация перестраивает среды и выполняет переключения. Аналитика информирует анализ влияния и отслеживает результаты учений.
Лучшие практики
- Начинайте с влияния на бизнес. Спросите бизнес, во что обходится простой каждой услуги за минуты, часы и дни. Ранжируйте услуги и задавайте RTO и RPO соответственно. Пересматривайте анализ после крупных изменений.
- Сначала защищайте немногие критические. Сосредоточьте усилия на услугах, потеря которых серьёзно навредила бы организации. Для остальных предусмотрите более лёгкие меры.
- Картируйте зависимости. Для каждой критической услуги перечислите, что нужно для работы и восстановления, включая идентификацию, сеть, DNS и поставщиков. Спланируйте порядок восстановления.
- Держите неизменяемую проверенную резервную копию. Храните хотя бы одну копию, которую нельзя изменить или удалить из производственной среды, и регулярно восстанавливайте из неё, чтобы доказать, что она работает.
- Пишите короткие применимые планы. Поместите роли, первые шаги, контакты и точки решений на несколько страниц. Храните копии автономно и у тех, кому они нужны.
- Назовите роли и заместителей. Для каждой роли в кризисе назовите основного и хотя бы одного заместителя. Обновляйте список, когда люди меняют работу.
- Репетируйте по ступеням. Начните с обсуждения сценария, перейдите к симуляциям, затем к контролируемым реальным проверкам восстановления и переключения. Записывайте время и проблемы.
- Исправляйте то, что находит учение. Относитесь к находкам как к пунктам бэклога с владельцами и датами. На следующем учении проверьте, что они выполнены.
- Включайте поставщиков и клиентов. Спросите критических поставщиков об их мерах непрерывности и проверьте соединения. Договоритесь с клиентами, какое сниженное обслуживание они могут принять.
- Планируйте коммуникацию. Подготовьте, кто кого информирует, по каким каналам, с шаблонами, включая каналы, работающие, когда ваши системы не работают.
Вопросы для обсуждения с командой
Какие три услуги больше всего навредили бы нам, будучи недоступными неделю, и откуда мы это знаем? Спросите бизнес, а не только ИТ. Ожидайте разных ответов, что является полезной отправной точкой. В продолжение организуйте короткое обсуждение влияния для каждой из трёх.
Когда мы в последний раз восстанавливали из резервной копии и сколько это заняло? Спросите дату и результат. Ожидайте «мы никогда не пробовали» или «только тестовый файл». В продолжение запланируйте полное восстановление одной важной системы в безопасной среде.
От чего зависит наше восстановление, что мы не проверяли: системы идентификации, DNS или человек? Нарисуйте цепочку для одной услуги. Ищите циклические зависимости. В продолжение выберите одну зависимость для проверки.
Если бы наши обычные системы связи были недоступны, как бы мы связались друг с другом и с клиентами? Многие планы предполагают электронную почту и чат. Спросите о списке вызова и внеполосных каналах. В продолжение проверьте дерево вызова.
Что мы сделали бы в первый час атаки вымогателя и кто решает? Проведите короткое обсуждение сценария. Ожидайте разногласий об изоляции систем и контакте с властями. В продолжение вместе с безопасностью напишите одностраничное руководство первого часа.
Где ИИ мог бы помочь нам подготовиться или реагировать и где мы должны полагаться на подготовленные планы людей? ИИ может составлять сценарии, проверять планы на пробелы и резюмировать журналы. Во время сбоя сама услуга ИИ может быть недоступна. Спросите, что предполагает план. В продолжение проверьте, что критические шаги не зависят от услуги ИИ.
На практике: пример управления услугами
Системы диспетчерской регионального распределителя электроэнергии, показывающие операторам состояние сети, должны быть восстановлены в течение двух часов после сбоя. Так говорит план аварийного восстановления распределителя. Он был написан четыре года назад и последний раз проверялся как бумажное упражнение.
Новый руководитель по непрерывности услуг просит живой тест. Команда соглашается восстановить приложение диспетчерской в отдельной среде из резервной копии предыдущей ночи под наблюдением руководителя эксплуатации. Восстановление занимает одиннадцать часов вместо двух. Выявляются три проблемы: резервная копия включает файлы приложения, но не базу данных конфигурации, которой владеет другая команда; пароли, нужные для восстановления, хранятся в хранилище, которое находится в том же центре обработки данных; а человек, знающий сетевые настройки резервной площадки, в долгом отпуске и не имеет заместителя.
Команда исправляет это за три месяца. Она добавляет базу данных конфигурации в расписание резервного копирования, создаёт хранилище аварийных учётных данных, хранимое автономно в запечатанном конверте и в отдельной облачной учётной записи, и обучает двух дополнительных инженеров работе с резервной площадкой. Второй тест восстанавливает приложение за 2 часа 40 минут. Третий, с намеренно неанонсированным началом, занимает 1 час 50 минут.
Что изменилось: показатель выполняется на практике, а план — документ, которым люди пользовались. Что остаётся трудным: тест использовал копию производственных данных и не включал соединения с полевым оборудованием, которые можно проверить только с оператором сети; организация не репетировала потерю всего центра обработки данных, только одного приложения; а стоимость содержания резервной площадки подвергается сомнению каждый год. Руководитель ведёт календарь учений и представляет затраты относительно анализа влияния.
Четыре перспективы
Команды продукта и поставки
Сделайте восстановление частью проекта: перестраивайте из кода, копируйте данные и конфигурацию, избегайте скрытых зависимостей. Участвуйте в учениях и исправляйте то, что они находят.
Команды услуг и эксплуатации
Знайте свою роль и заместителя, держите руководства актуальными и репетируйте восстановления и переключения. Записывайте, сколько всё занимает на самом деле, и сообщайте владельцам.
Руководство и управление
Определяйте целевые показатели восстановления вместе с бизнесом и финансируйте то, что они требуют. Участвуйте в учениях, включая решения и коммуникацию. Просите результаты тестов, а не только планы.
Клиенты и пользователи
Спросите, какие меры непрерывности защищают услуги, на которые вы полагаетесь, и договоритесь, какое сниженное обслуживание вы можете принять. Держите собственный резервный план для критических нужд.
Agile, ИИ, автоматизация и аналитика
Agile
Улучшайте непрерывность небольшими шагами: одна зависимость, один тест восстановления, одно исправление за раз, с рассмотрением заинтересованными сторонами. Предостережение: не откладывайте всю работу по непрерывности на один большой проект; репетируйте рано и часто.
ИИ
ИИ может помогать готовить черновики сценариев, проверять планы на пробелы и резюмировать журналы после учения, с проверкой человеком. Назовите владельца. Предостережение: ИИ-помощник может быть недоступен в кризисе или давать ненадёжные инструкции; держите основные процедуры в простых проверенных документах. См. тему 5.1 — ИИ в управлении услугами.
Автоматизация
Автоматизируйте перестройку сред, проверку резервных копий и переключение, с журналами и защитными мерами, и регулярно их проверяйте. Предостережение: автоматизация может быстро распространить ущерб, например удалив резервные копии вместе с производственными данными; защищайте системы резервного копирования отдельными учётными данными и средствами контроля. См. тему 6.3 — Инфраструктура как код и GitOps.
Аналитика
Отслеживайте успешность резервного копирования, время проверок восстановления относительно RTO, достигнутое RPO, закрытые находки учений и охват зависимостей. Предостережение: высокая доля успешных копирований ничего не говорит о том, можно ли восстановить данные; считайте восстановления. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.
Типичные виды сбоев
- Планы никогда не проверяются. Они не срабатывают, когда нужны. Репетируйте и регулярно восстанавливайте.
- Резервные копии никогда не восстанавливаются. Они пусты или неполны. Проверяйте восстановления и содержимое.
- Скрытые зависимости. Восстановление застревает на идентификации или DNS. Картируйте и проверяйте зависимости.
- Резервные копии, которые могут изменить злоумышленники. Вымогатель шифрует их. Держите неизменяемую копию.
- Планирование только силами ИТ. Бизнес не вовлечён. Проводите анализ влияния с владельцами бизнеса.
- План живёт только на отказавшей системе. Никто не может его прочитать. Держите автономные копии.
- Нет заместителей. Знания у одного человека. Назовите заместителей и обучите их.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Влияние и показатели | Не определены | Критические услуги перечислены | RTO и RPO заданы по влиянию на бизнес | Показатели пересматриваются с учётом стоимости и результатов | Показатели координируются по предприятию и поставщикам |
| Резервное копирование и восстановление | Копии не проверяются | Копирование выполняется | Восстановления проверены и замерены по времени | Результативность восстановления отслеживается и улучшается | Восстановление автоматизировано и непрерывно проверяется |
| Планы | Нет или устарели | Написаны для основных услуг | Краткие планы с названными ролями и заместителями | Планы обновляются после каждого учения | Планы интегрированы по функциям, поставщикам и клиентам |
| Учения | Нет | Бумажные разборы | Регулярные симуляции и реальные восстановления | Находки отслеживаются до закрытия | Учения включают партнёров и реалистичные сценарии |
Контрольный список
- Мы провели анализ влияния на бизнес для наших критических услуг.
- У каждой критической услуги есть RTO и RPO, согласованные с её владельцем.
- Зависимости, включая идентификацию и DNS, нанесены на карту.
- Хотя бы одна резервная копия неизменяема, и восстановления проверены.
- Планы короткие, актуальные и хранятся также автономно.
- Роли и заместители названы.
- Мы регулярно проводим учения и отслеживаем находки до закрытия.
- Меры непрерывности поставщиков известны и по возможности проверены.
Запросы к ИИ
Проверьте план на пробелы.
Here is our continuity plan for [service]: [paste]. Here is the list of its dependencies: [paste].
List dependencies that the plan does not mention, steps that rely on a person without a named deputy, and steps that assume a system that may be down. Do not rewrite the plan.
List what you are unsure of.
Разработайте сценарное учение.
Our context: [type of organization, key services]. Scenario theme: [for example, ransomware, data center loss].
Draft a 90-minute discussion exercise with a timeline of events, six decision points, questions for each role, and what to record. Do not use real names or systems unless I give them.
List what you are unsure of.
Резюмируйте результаты теста восстановления.
Here are the notes from a restore test: [paste with times and problems].
List what took longest, what failed, the dependencies discovered, and the actions to consider, with the owner role for each. Do not invent causes.
List what you are unsure of.
ИИ-навыки
- business-continuity-plan: используйте, чтобы планировать, как продолжают работу критические функции.
- disaster-recovery-plan: используйте, чтобы планировать восстановление систем и данных.
- disaster-recovery-testing: используйте, чтобы разрабатывать и проводить проверки восстановления.
- crisis-communication-plan: используйте, чтобы планировать коммуникацию во время нарушения.
- chaos-testing: используйте, чтобы безопасно проверять поведение при сбоях.
Ключевые источники
- ISO 22301, Security and resilience — Business continuity management systems: международный стандарт; читайте текущую редакцию у издателя.
- PeopleCert, ITIL certification pages: описание практики управления непрерывностью услуг от владельца.
- Wikipedia, "Business continuity planning" и "IT disaster recovery": обзоры идей и терминов.
- Wikipedia, "Chaos engineering": практика намеренной проверки сбоев.
Источники
- Business continuity planning — Wikipedia — https://en.wikipedia.org/wiki/Business_continuity_planning
- IT disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/IT_disaster_recovery
- Disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/Disaster_recovery
- ISO 22301 — Wikipedia — https://en.wikipedia.org/wiki/ISO_22301
- Backup — Wikipedia — https://en.wikipedia.org/wiki/Backup
- Backup site — Wikipedia — https://en.wikipedia.org/wiki/Backup_site
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Crisis management — Wikipedia — https://en.wikipedia.org/wiki/Crisis_management
- Ransomware — Wikipedia — https://en.wikipedia.org/wiki/Ransomware
- Replication (computing) — Wikipedia — https://en.wikipedia.org/wiki/Replication_(computing)
- Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management