Почему это важно

Инцидент — это незапланированное прерывание услуги или снижение её качества. Когда он случается, вовлечённые люди находятся под давлением, информация неполна, а время идёт. Решения, принятые в первые десять минут, часто определяют, продлится ли инцидент один час или шесть.

Организации, хорошо справляющиеся с инцидентами, не полагаются на героев. Они заранее договорились, как решать, насколько что-то серьёзно, кто ведёт, кто говорит с пользователями, как эскалировать и когда прекратить расследование и применить обходное решение. Они тренировались. Организации, справляющиеся плохо, каждый раз импровизируют, спорят о приоритетах во время события и обнаруживают, что единственный человек, знающий систему, в отпуске.

Эта тема описывает управление инцидентами как практику: определения, роли, серьёзность, коммуникация и разбор. Она рассматривает крупные инциденты с дополнительной структурой и охватывает то, как ИИ и автоматизация могут помочь и где могут навредить. Она стоит рядом с управлением проблемами (тема 3.3 — Управление проблемами), которое ищет глубинные причины, и мониторингом (тема 3.10 — Мониторинг и управление событиями), который часто обнаруживает инцидент.

Основные понятия

Инцидент. В ITIL 4 — незапланированное прерывание услуги или снижение её качества. Практику в управлении ИТ-услугами описывает статья Wikipedia об управлении инцидентами. Инцидент может существовать до того, как кто-либо из пользователей его заметит, например когда мониторинг показывает отказывающий диск.

Сначала восстановите услугу. Цель — восстановить услугу до нормального состояния, а не найти первопричину. Обходное решение, восстанавливающее услугу, — хороший результат; первопричина — дело управления проблемами. Команды, копающиеся в причине, пока услуга недоступна, затягивают сбой.

Обходное решение. Решение, уменьшающее или устраняющее влияние инцидента без устранения его причины, например перенаправление трафика, перезапуск компонента или переход на ручной процесс. Как отслеживаются известные ошибки и обходные решения, см. в теме 3.3 — Управление проблемами.

Серьёзность и приоритет. Серьёзность описывает влияние на пользователей и бизнес, например сколько их затронуто и насколько сильно. Приоритет добавляет срочность, например крайний срок. Многие организации используют небольшую шкалу, например из четырёх уровней, с определением и ожидаемым откликом для каждого. Определения должны использовать наблюдаемые факты («более 100 пользователей не могут совершать платежи»), а не ощущения.

Крупные инциденты. Крупный инцидент оказывает значительное влияние и требует более быстрого и скоординированного отклика, чем стандартный процесс. Организации сами определяют пороги. У крупных инцидентов обычно есть названный руководитель инцидента, руководитель коммуникаций и регулярный ритм обновлений.

Роли. Руководитель инцидента координирует и принимает решения; технические исполнители диагностируют и исправляют; руководитель коммуникаций держит заинтересованные стороны и пользователей в курсе; писарь записывает, что и когда сделано. В небольшом инциденте один человек может совмещать несколько ролей. Система управления инцидентами (Incident Command System), применяемая в управлении чрезвычайными ситуациями и описанная в Wikipedia, повлияла на структуру, используемую во многих технических организациях.

Эскалация. Привлечение дополнительных навыков или полномочий. Функциональная эскалация передаёт инцидент людям с нужной экспертизой. Иерархическая эскалация привлекает руководителей, способных принимать решения или предоставлять ресурсы. Чёткие критерии, например «нет прогресса через 30 минут при первой серьёзности», делают эскалацию рутиной, а не признаком провала.

Дежурство. Договорённости о доступности людей вне обычных часов. Хорошая практика дежурств включает пределы нагрузки, чёткий график, руководства по эксплуатации и компенсацию. См. тему 2.6 — Инженерия надежности сайтов. Усталость от сигналов тревоги, описанная в Wikipedia, заставляет людей игнорировать слишком частые или недейственные оповещения.

Коммуникация. Пользователям и заинтересованным сторонам нужно знать, что затронуто, что вы делаете и когда они услышат об этом снова. Частые простые обновления снижают повторные обращения и тревогу. Общие принципы даёт статья Wikipedia о кризисной коммуникации. Страница статуса, внутренний канал и прямые сообщения ключевым клиентам служат разным аудиториям.

Записи об инцидентах. Обращение или запись с временем начала, симптомами, действиями, решениями и временем окончания. Запись поддерживает разбор и даёт данные для улучшения. Хронология, которую ведут во время инцидента, точнее восстановленной потом.

Разбор. После значимого инцидента проведите разбор без поиска виноватых, смотрящий на то, что произошло, что помогло, что замедлило отклик и что менять. Находки идут в управление проблемами и бэклог улучшений. См. тему 3.3 — Управление проблемами.

Показатели. Время обнаружения, время отклика и время восстановления, часто обобщаемые как среднее время восстановления (MTTR) в описании Wikipedia, — частые. Средние скрывают большие различия между инцидентами, и ими можно манипулировать способом определения времени начала и окончания. Используйте распределения и рассматривайте отдельные инциденты. См. книгу Service Management Metrics.

Как вписываются линзы. Гибкая практика рассматривает каждый разбор как обратную связь и держит улучшение небольшим и непрерывным. ИИ может резюмировать хронологию, предлагать похожие прошлые инциденты и готовить черновики обновлений, при ответственном человеке. Автоматизация выполняет безопасные, хорошо понятные шаги, такие как перезапуски и переключения. Аналитика показывает закономерности повторения.

Лучшие практики

  1. Определяйте уровни серьёзности по наблюдаемым фактам. Запишите, что означает каждый уровень, кого уведомляют и как быстро. Пересматривайте определения после инцидентов, которые трудно было классифицировать.
  2. Назовите роли и отрабатывайте их. Договоритесь, кто ведёт, кто сообщает и кто записывает. Репетируйте на учениях, чтобы в первый раз не оказаться в настоящем кризисе. См. тему 3.12 — Управление непрерывностью услуг.
  3. Сначала восстановите, потом расследуйте. Установите правило, что обходное решение применяется, если оно есть и безопасно. Запишите инцидент для управления проблемами и двигайтесь дальше.
  4. Ведите живую хронологию. Записывайте действия и решения со временем по ходу, в общем месте. Это предотвращает споры и ускоряет разбор.
  5. Эскалируйте рано и без обвинений. Определите триггеры эскалации и считайте их использование хорошей практикой. Люди, эскалирующие поздно, боятся критики, поэтому устраните её.
  6. Сообщайте в ритме. Согласуйте интервал обновлений для каждого уровня серьёзности и отправляйте обновления, даже когда нового нет, говоря об этом. Используйте простой язык.
  7. Давайте исполнителям то, что им нужно. Поддерживайте руководства по эксплуатации, доступ, панели и списки контактов. Проверяйте доступ до той ночи, когда он понадобится.
  8. Берегите людей. Ограничивайте нагрузку дежурств, передавайте длительные инциденты и следите, чтобы исполнители отдыхали. Усталые люди принимают худшие решения.
  9. Разбирайте без обвинений и доводите до конца. Пишите короткий отчёт с хронологией, способствовавшими факторами и действиями с владельцами и датами. Отслеживайте действия до завершения. См. тему 3.3 — Управление проблемами.
  10. Возвращайте уроки. Обновляйте руководства, мониторинг и проект. Делитесь обучением с другими командами и проверяйте, что повторяющиеся инциденты сокращаются.

Вопросы для обсуждения с командой

Как мы решаем, насколько серьёзен инцидент, и спорили ли об этом когда-либо во время инцидента? Разногласия о серьёзности тратят время. Попросите недавние примеры. Вы можете услышать, что ответ зависит от того, кто спрашивает. В продолжение перепишите определение одного уровня по наблюдаемым фактам.

Кто ведёт инцидент в три часа ночи и откуда он знает, что он ведущий? Неясное руководство — частая причина путаницы. Спросите, кто принимал решения в последнем крупном инциденте. Ожидайте разных ответов. В продолжение договоритесь, как выбирается и объявляется руководитель.

Что слышат от нас пользователи во время инцидента и как часто? Сравните то, что пользователи слышали в последнем инциденте, с тем, что они хотели. Ожидайте долгого молчания. В продолжение выберите интервал обновлений и канал и подготовьте шаблон.

Что мы эскалировали поздно и почему? Вопрос исследует страх и привычку. Люди могут медлить из страха показаться некомпетентными или разбудить кого-то. Спросите, что облегчило бы эскалацию. В продолжение запишите правило вроде «эскалируйте, если нет прогресса за 30 минут».

Что говорит наш последний разбор инцидента, что нужно менять, и что на самом деле изменилось? Вопрос проверяет доведение до конца. Спросите действия и их статус. Ожидайте, что некоторые открыты месяцами. В продолжение назначьте владельцев и даты и пересмотрите через месяц.

Где ИИ мог бы помочь во время инцидента и где должен решать человек? ИИ может резюмировать хронологию, искать прошлые инциденты и готовить черновики обновлений. Он не может нести ответственность. Спросите, какие действия ИИ может выполнять без согласования, если какие-то вообще. В продолжение выберите одно малорисковое применение и договоритесь, как проверяется его выход.

На практике: пример управления услугами

Цифровая команда национальной аптечной сети ведёт приложение, позволяющее клиентам заказывать повторные рецепты. В пятницу вечером заказы начинают отказывать у примерно 30 процентов пользователей. Дежурный инженер видит ошибки базы данных и вызывает руководителя инцидента по графику. Руководитель объявляет инцидент второй серьёзности, поскольку пользователи не могут выполнить основную задачу, назначает руководителя коммуникаций и начинает хронологию.

В течение 15 минут команда подозревает изменение базы данных, развёрнутое днём. Руководитель спрашивает, безопасно ли его откатить; инженер, внёсший изменение, подтверждает. Команда откатывает, и заказы восстанавливаются за пять минут. Общее время от первого оповещения до восстановления — 47 минут. Руководитель коммуникаций опубликовал сообщение на странице статуса на 20-й минуте, повторно на 35-й и финальное при восстановлении и сообщил команде поддержки клиентов, что говорить.

На следующей неделе команда проводит разбор без поиска виноватых. Хронология показывает, что обнаружение зависело от жалобы пользователя, поскольку никакое оповещение не охватывало отказавшие заказы; изменение рассматривалось, но в тестовой среде не было реалистичных данных; а первое обновление запоздало относительно согласованного интервала, потому что руководитель коммуникаций не был уверен, что можно писать на странице статуса. Команда добавляет оповещение по доле отказавших заказов, улучшает тестовые данные и пишет шаблон страницы статуса.

Что изменилось: следующий похожий инцидент обнаруживается оповещением за три минуты. Что остаётся трудным: тестовые данные не содержат реальных сведений о пациентах — по веским причинам, — что ограничивает их реалистичность; в графике по-прежнему мало инженеров, способных безопасно откатить базу данных; а в списке действий разбора двенадцать пунктов, а времени у команды на пять. Они выбирают по риску, а остальное кладут в бэклог с датами.

Четыре перспективы

Команды продукта и поставки

Стройте с расчётом на восстановление: делайте изменения обратимыми, добавляйте оповещения и журналы, показывающие влияние на пользователей, и пишите руководства по ходу. Участвуйте в разборах и устраняйте причины в проекте.

Команды услуг и эксплуатации

Знайте свою роль, тренируйтесь и ведите хронологию. Эскалируйте рано, сообщайте ровно и заботьтесь друг о друге. Приносите то, чему научились, на разборы и используйте это для улучшения руководств и мониторинга.

Руководство и управление

Заранее согласуйте определения серьёзности и ожидания и воздерживайтесь от поиска виноватых. Во время крупного инцидента поддерживайте руководителя и запрашивайте обновления только через согласованный канал. Финансируйте последующие действия.

Клиенты и пользователи

Вам должны своевременно сообщать, что затронуто, что делается и когда вы услышите об этом снова. Сообщайте, что вы видите, с подробностями. После крупного инцидента ожидайте чёткого рассказа о том, что изменилось.

Agile, ИИ, автоматизация и аналитика

Agile

Рассматривайте разборы инцидентов как короткую петлю обратной связи, движущую улучшение: небольшие изменения руководств, оповещений и проекта, делаемые быстро с информированием заинтересованных сторон. Предостережение: длинный список действий, который никто не завершает, хуже короткого, который выполнен.

ИИ

ИИ может готовить черновики обновлений, резюмировать хронологию и чат и находить похожие прошлые инциденты. Руководитель инцидента остаётся ответственным, а выход ИИ — предложение. Предостережение: ИИ может выдумать причины или время, а автоматически подготовленное обновление, отправленное без проверки, может ввести клиентов в заблуждение; всегда проверяйте перед отправкой. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.

Автоматизация

Автоматизируйте безопасные повторяемые шаги отклика, такие как сбор диагностических данных, вызов нужных людей и выполнение проверенного перезапуска, с журналами и пределами. Предостережение: автоматизация, действующая во время инцидента, может его ухудшить; сохраняйте ручную остановку и проверяйте в безопасной среде. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.

Аналитика

Смотрите на время обнаружения, отклика и восстановления, на распределение каждого и на повторяющиеся инциденты. Предостережение: средние скрывают худшие инциденты, определения начала и окончания различаются, а показатели, которыми оценивают команды, провоцируют манипуляцию метками времени; изучайте и отдельные инциденты. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.

Типичные виды сбоев

  • Серьёзность обсуждается во время инцидента. Время теряется. Пишите определения по наблюдаемым фактам.
  • Нет ясного руководителя. Все действуют, и никто не решает. Назовите руководителя и объявите об этом.
  • Расследование, пока услуга недоступна. Восстановление задерживается. Сначала применяйте безопасное обходное решение.
  • Молчание перед пользователями. Тревога и повторные обращения растут. Обновляйте в ритме.
  • Обвинения в разборах. Люди скрывают ошибки. Проводите разборы без поиска виноватых и отслеживайте действия.
  • Зависимость от героя. Один человек чинит всё. Делитесь знаниями и пишите руководства.
  • Автодействия без пределов. Автоматизация ухудшает инцидент. Добавьте пределы, журналы и ручную остановку.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Серьёзность и процесс От случая к случаю Неформальные уровни Определённые уровни с ожидаемым откликом Уровни пересматриваются по данным Процесс адаптируется по услугам и партнёрам
Роли и практика Импровизация Некоторые роли названы Роли определены и отрепетированы Учения измеряются и улучшаются Учения разделяются с поставщиками и клиентами
Коммуникация Нерегулярная Обновления, когда вспомнят Ритм обновлений и каналы по уровням серьёзности Качество коммуникации пересматривается Согласованность между командами, клиентами и партнёрами
Обучение Обвинение Редкие разборы Разборы без поиска виноватых с отслеживаемыми действиями Повторяемость измеряется и снижается Обучение распространяется по организации

Контрольный список

  • Уровни серьёзности определены по наблюдаемым фактам и ожидаемому отклику.
  • Роли в инцидентах названы и отрепетированы.
  • Триггеры эскалации записаны.
  • Для значимых инцидентов ведётся живая хронология.
  • Интервалы обновлений и каналы заданы для каждой серьёзности.
  • Нагрузка дежурств ограничена и отслеживается.
  • Разборы проходят без поиска виноватых, а действия отслеживаются до завершения.
  • У ИИ и автоматизации, используемых в инцидентах, есть владелец, пределы и проверка.

Запросы к ИИ

Резюмируйте хронологию инцидента для разбора.

Here are the chat messages and notes from an incident, with times and names removed: [paste text].
Produce a timeline of key events, a list of decisions and who made them (by role only), what helped, what slowed us down, and questions for the review. Use only the text and mark anything uncertain.
List what you are unsure of.

Подготовьте черновик обновления статуса для проверки.

Facts we know: [paste confirmed facts]. Facts we do not know: [list]. Next update in: [time].
Draft a status update of under 80 words in plain language that states what is affected, what we are doing, and when the next update is due. Do not speculate about causes or give an estimate for recovery that is not in the facts.
List what you are unsure of.

Проверьте определения серьёзности.

Our severity definitions: [paste]. Here are three past incidents with their impact: [paste].
For each incident, say which level the definitions suggest, quote the words you used, and note where the definitions were ambiguous. Do not change the definitions.
List what you are unsure of.

ИИ-навыки

  • incident-response-plan: используйте, чтобы определить роли, серьёзность и шаги реагирования на инциденты.
  • postmortem: используйте, чтобы провести разбор без поиска виноватых с отслеживаемыми действиями.
  • runbook: используйте, чтобы зафиксировать шаги реагирования на известные сбои.
  • crisis-communication-plan: используйте, чтобы планировать обновления для пользователей и заинтересованных сторон.
  • on-call-rotation: используйте, чтобы спроектировать устойчивый порядок дежурств.

Ключевые источники

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), главы о реагировании на инциденты и разборах, свободно на sre.google: практические рекомендации крупного оператора.
  • PeopleCert, ITIL certification pages: описание практики управления инцидентами от владельца.
  • Wikipedia, "Incident management": обзор практики.
  • Wikipedia, "Incident Command System": модель управления чрезвычайными ситуациями, повлиявшая на технические роли при инцидентах.

Источники

  1. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  2. Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
  3. Mean time to recovery — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_to_recovery
  4. Escalation — Wikipedia — https://en.wikipedia.org/wiki/Escalation
  5. Crisis communication — Wikipedia — https://en.wikipedia.org/wiki/Crisis_communication
  6. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  7. Workaround — Wikipedia — https://en.wikipedia.org/wiki/Workaround
  8. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  9. Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/