Мониторинг и управление событиями
Мониторинг и управление событиями наблюдают за услугами, чтобы нужный человек рано узнавал о реальных проблемах и никого не будил шум; они работают, когда оповещения описывают то, что чувствуют пользователи, у каждого оповещения есть действие, а объём событий достаточно мал, чтобы люди им доверяли.
Почему это важно
Первый признак неприятности должен приходить от собственных систем, а не от пользователя. Это и есть обещание мониторинга: здоровье услуги наблюдается непрерывно, а отклонение замечается раньше, чем его замечает большинство пользователей. На практике многие команды обнаруживают, что о проблемах по-прежнему первыми сообщают пользователи, а команда погребена под оповещениями, на которые никто не реагирует.
Разница между двумя ситуациями — в проекте. Настройка мониторинга, поднимающая оповещение при каждом пересечённом пороге, учит получателей игнорировать оповещения. Wikipedia называет это усталостью от сигналов тревоги — явлением, впервые изученным в больницах, где персонал, подвергающийся слишком многим сигналам, теряет чувствительность и пропускает важные. Настройка, измеряющая то, что переживают пользователи, оповещающая только когда нужно действие и дающая исполнителю контекст, превращает мониторинг в систему раннего предупреждения.
У мониторинга также более широкая роль, чем ловля сбоев. Он даёт данные для планирования ёмкости, работы над производительностью, проверки здоровья релиза и решения, что улучшать. Эта тема описывает лексику и практики, отличающие полезный мониторинг от шума. Она тесно связана с управлением инцидентами (тема 3.2 — Управление инцидентами), доступностью и ёмкостью (тема 3.11 — Доступность, емкость и производительность) и наблюдаемостью (тема 7.4 — Наблюдаемость и телеметрия).
Основные понятия
Мониторинг. Сбор, обработка и использование данных о состоянии услуг и их компонентов. Системный и сетевой мониторинг как практики наблюдения за системами на предмет неисправностей и производительности описывает Wikipedia. Мониторинг отвечает на известные вопросы: работает ли, быстро ли, не заполнено ли?
Событие. В ITIL 4 — любое изменение состояния, значимое для управления услугой или другим элементом конфигурации. События бывают информационными, предупреждающими или исключениями. Многие события нормальны и не требуют действий; практика состоит в решении, какие требуют.
Оповещение. Уведомление о том, что событие требует внимания. Не каждое событие должно становиться оповещением. Хорошее оповещение сообщает человеку, что что-то требует действия сейчас, что не так и куда смотреть.
Усталость от оповещений. Потеря чувствительности к оповещениям, когда их слишком много или слишком много ложных. См. статью Wikipedia об усталости от сигналов тревоги. Признаки включают подтверждение оповещений без чтения, отключённые каналы и поздно обнаруженные инциденты. Это проблема проекта, а не дисциплины.
Метрики, журналы и трассировки. Три распространённых вида телеметрии. Метрики — числовые измерения во времени, например частота запросов или использование памяти. Журналы — записи событий с метками времени. Трассировки прослеживают запрос через части распределённой системы. Общие идеи описывают статьи Wikipedia о телеметрии и управлении журналами. Вместе они поддерживают и мониторинг, и более глубокое расследование, рассматриваемое в наблюдаемости.
Наблюдаемость. Способность понимать внутреннее состояние системы по её выходам. Wikipedia описывает наблюдаемость в программном обеспечении как расширение мониторинга на вопросы, которые вы не предвидели. Они пересекаются: мониторинг следит за известным сбоем; наблюдаемость помогает исследовать неизвестные. См. тему 7.4 — Наблюдаемость и телеметрия.
Симптомы и причины. Симптом — то, что переживают пользователи или услуга, например медленные ответы; причина — то, что за ним стоит, например заполненный диск. Оповещение о симптомах сообщает, что пользователи затронуты. Оповещение о каждой возможной причине создаёт шум. Многие команды оповещают о симптомах и используют метрики уровня причин для расследования.
Пороги и базовые линии. Фиксированный порог, например «процессор выше 90 процентов», прост и часто неверен, потому что нормальные уровни меняются со временем и нагрузкой. Базовые линии учатся тому, что нормально для времени суток, и поднимают оповещения при отклонении. Идею и предостережения описывает статья Wikipedia об обнаружении аномалий.
Корреляция событий. Объединение связанных событий для поиска глубинной проблемы, чтобы сто оповещений от одного отказавшего компонента стали одним. Корреляцию событий описывает Wikipedia. Она может быть основана на правилах или на машинном обучении. См. тему 5.2 — AIOps.
Синтетический мониторинг и мониторинг реальных пользователей. Синтетический мониторинг запускает сценарные тесты, имитирующие пользователей, и регулярно проверяет, работает ли путь. Мониторинг реальных пользователей фиксирует опыт настоящих пользователей. Оба описывает Wikipedia. Синтетические проверки ловят сбои в тихое время; данные реальных пользователей показывают, что люди переживают на самом деле.
Управление производительностью приложений. Инструменты и практики мониторинга производительности и доступности приложений, включая время отклика и частоту ошибок. Область описывает Wikipedia.
Действенность. У каждого оповещения должно быть определённое действие, даже если оно «проверьте руководство». Если человек не может сказать, что делать, оповещение нужно убрать или превратить в отчёт. См. тему 3.9 — Управление знаниями.
Маршрутизация и эскалация. Оповещения идут тем, кто может действовать, по графикам дежурств, с эскалацией при отсутствии подтверждения. См. тему 3.2 — Управление инцидентами.
Управление событиями и ITIL. ITIL 4 описывает «мониторинг и управление событиями» как практику, систематически наблюдающую услуги и их компоненты и фиксирующую и сообщающую выбранные изменения состояния. Акцент — на решении, какие события важны и что с каждым делать.
Как вписываются линзы. Мониторинг — сторона обратной связи непрерывной поставки: он показывает, здорово ли изменение. Гибкая практика рассматривает качество оповещений как пункт бэклога. ИИ может снижать шум, коррелировать события и резюмировать под проверкой. Автоматизация может действовать по хорошо понятным событиям. Аналитика показывает тенденции и стоимость шума.
Лучшие практики
- Оповещайте о том, что чувствуют пользователи. Начинайте с симптомов, таких как отказавшие запросы, медленные страницы и упавшие задания. Используйте метрики причин для диагностики, а не для вызова, если только причина не является надёжным ранним предупреждением.
- Делайте каждое оповещение действенным. Для каждого оповещения напишите, что оно значит, кто действует и что делает первым. Свяжите его с руководством. Убирайте оповещения без действия.
- Держите объём низким. Считайте оповещения, получаемые каждым дежурным за смену, и установите предел. Каждую неделю пересматривайте самые шумные оповещения и исправляйте или удаляйте их.
- Вызывайте для срочного, заводите обращение для остального. Используйте звонок или вызов только когда кто-то должен действовать сейчас. Другие сигналы отправляйте в очередь или отчёт. Чётко определите различие.
- Осторожно используйте базовые линии. Где нормальное меняется со временем и нагрузкой, применяйте пороги с учётом времени или обнаружение аномалий и пересматривайте их. Не доверяйте модели, которую вы не можете объяснить тем, кто реагирует.
- Группируйте связанные оповещения. Коррелируйте события одной причины и подавляйте нижестоящие оповещения при отказе зависимости. Отправляйте одно сообщение с контекстом.
- Проверяйте с точки зрения пользователя. Добавляйте синтетические проверки для ключевых путей и используйте данные реальных пользователей для опыта. Сервер может «работать», пока пользователи не могут войти.
- Мониторьте мониторинг. Проверяйте, что оповещения доходят до людей, что система вызова работает и что молчаливый сбой мониторинга сам обнаруживается. Проводите периодические сквозные тесты.
- Разбирайте после инцидентов. Спросите, какое оповещение сработало, какое должно было и какие были шумом. Корректируйте в разборе инцидента. См. тему 3.3 — Управление проблемами.
- Делитесь панелями и контекстом. Дайте разработчикам, эксплуатации и поддержке доступ к тем же данным и показывайте эффект недавних изменений. Избегайте панелей, которыми никто не пользуется.
Вопросы для обсуждения с командой
О каком последнем инциденте нам сообщили пользователи раньше, чем наш мониторинг, и почему? Вопрос находит слепые пятна. Посмотрите, что видели пользователи. Ожидайте пробелов на краях путей. В продолжение выберите одну видимую пользователю проверку для добавления.
Сколько оповещений получили наши дежурные в прошлом месяце и сколько из них потребовало действия? Считайте вместе. Если никто не знает, это находка. Ожидайте низкой доли действенных оповещений. В продолжение выберите пять самых шумных оповещений и решите судьбу каждого.
Какие оповещения мы игнорируем и что случится, если их удалить? Игнорирование оповещений — признак усталости. Спросите, когда каждое в последний раз имело значение. В продолжение удалите или понизьте одно с датой пересмотра.
Кого и по какому поводу будят и согласны ли все, что это стоит того? Договоритесь о критериях вызова. Ожидайте разногласий, что полезно. В продолжение запишите правило в один абзац и опробуйте его месяц.
Как мы узнали бы, что сам наш мониторинг перестал работать? Вопрос проверяет метамониторинг. Ожидайте молчания или расплывчатого ответа. В продолжение добавьте проверку сердцебиения или ежедневное тестовое оповещение и договоритесь, кто за ним следит.
Что мы хотели бы поручить ИИ в отношении наших оповещений и что должно остаться решением человека? ИИ может группировать оповещения, предлагать причины и резюмировать контекст. Он также может подавить реальное оповещение. Спросите, какие действия требуют согласования. В продолжение выберите пилот, ограниченный группировкой и резюме, с проверкой того, что он скрыл.
На практике: пример управления услугами
Команда эксплуатационных технологий регионального аэропорта мониторит обработку багажа, системы регистрации и табло информации о рейсах. Команда из шести человек получает около 400 оповещений в день. Дежурные говорят, что мельком смотрят уведомления и в основном отключают звук. В прошлом месяце отказавший сетевой коммутатор в терминале оставался незамеченным 40 минут, пока пассажиры не пожаловались, что табло пусты.
Руководитель команды тратит неделю на изучение данных. Из 400 ежедневных оповещений около 350 приходят от 12 правил, таких как предупреждения о диске на устройствах, которые очищаются сами, и мерцание интерфейса на неиспользуемом порту. Лишь около 15 в день требуют вмешательства человека. Руководитель и команда соглашаются на три изменения. Они удаляют или понижают 12 шумных правил до ежедневного отчёта. Они добавляют две синтетические проверки, загружающие страницу табло и экран регистрации из каждого терминала раз в минуту и вызывающие дежурного, если любая из них дважды подряд не проходит. И они настраивают корреляцию, чтобы отказ коммутатора давал одно оповещение с названием затронутых табло, а не сто.
В следующем месяце оповещения для дежурных падают примерно до 20 в день, а следующий отказ коммутатора обнаруживается за три минуты одним вызовом со списком затронутых терминалов. На еженедельном обзоре команда находит одно оповещение, подавленное корреляцией, когда не следовало, и исправляет правило.
Что изменилось: люди доверяют вызовам и реагируют. Что остаётся трудным: оборудование поставщика обработки багажа посылает собственные оповещения в формате, который команда не может отфильтровать, поэтому часть шума остаётся; некоторые сотрудники ночной смены опасаются, что ежедневный отчёт не будут читать; и никто ещё не проверил, что произойдёт, если откажет сама система мониторинга. Руководитель назначает учение и добавляет ежедневное тестовое оповещение.
Четыре перспективы
Команды продукта и поставки
Встраивайте сигналы: содержательные метрики, журналы и трассировки и проверки состояния, отражающие пути пользователей. Пишите руководство вместе с оповещением. Наблюдайте эффекты каждого релиза.
Команды услуг и эксплуатации
Владейте качеством оповещений. Еженедельно пересматривайте самые шумные оповещения, защищайте людей от перегрузки и проверяйте, что у каждого вызова есть действие. Проверяйте пути, по которым идут оповещения.
Руководство и управление
Просите число действенных оповещений, а не число мониторов. Финансируйте время на исправление шумных оповещений. Считайте повторяющиеся вызовы вне рабочего времени ценой для сотрудников и качества.
Клиенты и пользователи
Вы должны узнавать о проблемах от поставщика раньше, чем замечаете сами, и получать сведения о том, что затронуто. Сообщайте, что вы видите, со временем и говорите поставщику, где мониторинг это пропустил.
Agile, ИИ, автоматизация и аналитика
Agile
Относитесь к оповещениям и панелям как к части продукта: улучшайте их небольшими шагами после каждого инцидента и релиза. Рассматривайте их с теми, кто реагирует. Предостережение: добавление мониторов для каждой новой функции без удаления старых увеличивает шум.
ИИ
ИИ может учиться нормальным паттернам, группировать связанные оповещения, предлагать вероятные причины и резюмировать шторм оповещений, с владельцем и решениями человека. Проверяйте его на прошлых инцидентах. Предостережение: модель, подавляющая оповещения, может скрыть редкий, но реальный сбой; измеряйте, что было подавлено и что пропущено. См. тему 5.2 — AIOps.
Автоматизация
Автоматизируйте ответы на хорошо понятные события, такие как перезапуск отказавшего процесса, а также маршрутизацию и обогащение оповещений, с пределами и журналами. Предостережение: автоустранение, повторяющее попытки бесконечно, может скрыть отказывающую систему или ухудшить её; добавьте ограничения частоты и эскалацию. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.
Аналитика
Отслеживайте объём оповещений, долю действенных, время подтверждения и инциденты, обнаруженные мониторингом, в сравнении с обнаруженными пользователями. Предостережение: только число оповещений можно подтасовать, поднимая пороги, пока ничего не срабатывает; сверяйте с инцидентами. См. тему 7.4 — Наблюдаемость и телеметрия и книгу Service Management Metrics.
Типичные виды сбоев
- Оповещение обо всём. Люди отключают канал. Оповещайте о симптомах и убирайте остальное.
- Оповещения без действия. Исполнители не знают, что делать. Свяжите с руководством или удалите оповещение.
- Только фиксированные пороги. Ложные тревоги в загруженное время. Осторожно используйте методы с учётом времени или базовых линий.
- Пользователи узнают первыми. Пробелы в видимых пользователю проверках. Добавьте синтетический мониторинг и мониторинг реальных пользователей.
- Нет метамониторинга. Мониторинг молча отказывает. Добавьте сердцебиение и учения.
- Разрастание панелей. Никто на них не смотрит. Держите немного поддерживающих решения.
- Доверие непрозрачной модели. Исполнители не могут объяснить, что она сделала. Держите правила и логику доступными для рассмотрения.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Проектирование оповещений | Каждый порог оповещает | Некоторые ключевые оповещения | Оповещения по симптомам, действенные, с руководствами | Качество оповещений измеряется и еженедельно пересматривается | Оповещения адаптируются и коррелируются по услугам |
| Охват | Только серверы | Некоторые приложения | Пути пользователей проверяются синтетически и по данным реальных пользователей | Охват пересматривается после инцидентов | Охват согласован по имуществу и поставщикам |
| Шум | Подавляющий | Осознаётся | Объём ограничен и пересматривается | Шум измеряется и снижается | Шумом управляют корреляцией и автоматизацией под надзором |
| Реагирование | Ручное | Вызовы команде | Маршрутизация с эскалацией | Время реагирования отслеживается | Безопасные действия автоматизированы под контролем человека |
Контрольный список
- Оповещения основаны на симптомах, которые чувствуют пользователи.
- У каждого оповещения есть определённое действие и связанное руководство.
- Объём оповещений для дежурного за смену измеряется и ограничен.
- Мы каждую неделю пересматриваем самые шумные оповещения.
- У ключевых путей пользователей есть синтетические проверки.
- Связанные оповещения коррелируются.
- Мы проверяем, что оповещения доходят до людей и что сбой мониторинга обнаруживается.
- У ИИ или автоматизации, действующих по оповещениям, есть владелец, пределы и проверка.
Запросы к ИИ
Проранжируйте шумные оповещения.
Here is a list of alert rules with the number of times each fired last month and how many led to action: [paste].
Rank them by number of non-actionable firings, list the top ten, and give one question per rule to ask about whether to remove, change, or keep it. Do not recommend deleting any.
List what you are unsure of.
Подготовьте черновик текста оповещения.
The situation to alert on: [describe]. Who acts: [role]. The first checks they should make: [list].
Draft an alert title (under 80 characters) and a body (under 80 words) that says what is wrong, what users may be experiencing, and the first step, with a link placeholder for the runbook. Do not speculate about causes.
List what you are unsure of.
Проверьте правило корреляции.
Here is a correlation rule: [describe]. Here is a list of recent events with timestamps and sources: [paste].
List which events the rule would group, which it would suppress, and any case where a real separate problem could be hidden. Do not propose a new rule.
List what you are unsure of.
ИИ-навыки
- runbook: используйте, чтобы написать действие, сопровождающее каждое оповещение.
- anomaly-analysis: используйте, чтобы исследовать необычные паттерны в метриках.
- key-risk-indicators: используйте, чтобы выбирать индикаторы раннего предупреждения.
- on-call-rotation: используйте, чтобы проектировать устойчивые графики дежурств.
Ключевые источники
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), глава о мониторинге распределённых систем, свободно на sre.google.
- Rob Ewaschuk, "My Philosophy on Alerting" (2013): известное короткое эссе об оповещении по симптомам.
- Wikipedia, "Alarm fatigue" и "Observability (software)": обзоры ключевых идей.
- PeopleCert, ITIL certification pages: описание практики мониторинга и управления событиями от владельца.
Источники
- Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Application performance management — Wikipedia — https://en.wikipedia.org/wiki/Application_performance_management
- Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
- Log management — Wikipedia — https://en.wikipedia.org/wiki/Log_management
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
- Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/