Почему это важно

Команды эксплуатации тонут в данных. Современная услуга выдаёт миллионы строк журнала, тысячи метрик и сотни оповещений каждый день. Люди не могут прочитать всё, поэтому задают пороги и правила, чтобы решать, на что смотреть. Правила растут, взаимодействуют и разрушаются. Большинство оповещений оказывается шумом, а некоторые реальные проблемы прячутся среди них.

AIOps — термин, введённый аналитической фирмой Gartner в середине 2010-х от «algorithmic IT operations» и ныне обычно читаемый как «ИИ для ИТ-эксплуатации», — обещает помочь. Он использует машинное обучение, чтобы узнавать, что нормально, замечать, когда что-то не так, группировать связанные оповещения в одно событие и подсказывать, где может лежать причина. Wikipedia описывает AIOps как применение искусственного интеллекта для улучшения ИТ-эксплуатации. Вендоры представляют его в сильных выражениях. Практики сообщают о реальных выигрышах в некоторых применениях, таких как снижение шума, и о разочаровании в других, таких как полностью автоматическая диагностика.

Для управления услугами вопрос практический: какие части AIOps дают надёжную ценность, как их проверять и как сохранять контроль у людей? Эта тема описывает основные приёмы, их типичные виды сбоев и разумный путь внедрения. Она опирается на мониторинг (тема 3.10 — Мониторинг и управление событиями) и наблюдаемость (тема 7.4 — Наблюдаемость и телеметрия) и пересекается с управлением инцидентами (тема 3.2 — Управление инцидентами) и автоматизацией runbook (тема 6.6 — Автоматизация runbook и автоматическое устранение сбоев).

Основные понятия

AIOps. Использование приёмов ИИ, главным образом машинного обучения и статистики, на эксплуатационных данных для поддержки задач, таких как обнаружение аномалий, корреляция событий, предложение первопричин и предсказание. Это набор приёмов, а не единый продукт, и возможности сильно различаются.

Обнаружение аномалий. Поиск точек данных или закономерностей, отличающихся от ожидаемого. Обнаружение аномалий и его методы описывает Wikipedia. В эксплуатации модель может изучить нормальную суточную и недельную картину запросов и отмечать отклонения. Норма не постоянна: сезонность, описанная в Wikipedia, означает, что утро понедельника выглядит иначе, чем вечер воскресенья. Хорошие детекторы это учитывают.

Временные ряды. Данные, записанные во времени, такие как время отклика или число ошибок. Анализ временных рядов описывает Wikipedia. Большинство эксплуатационных метрик — временные ряды, и приёмы AIOps опираются на методы их моделирования и прогнозирования.

Корреляция событий и снижение шума. Объединение оповещений от одной причины в один инцидент и подавление дубликатов и известного шума. Корреляцию событий описывает Wikipedia. Приёмы кластеризации, описанные в Wikipedia как кластерный анализ, группируют элементы по сходству. Хорошая корреляция превращает двести оповещений в одно с названным вероятным источником.

Предложение первопричин. Использование топологии, записей об изменениях, журналов и прошлых инцидентов, чтобы предложить, где, вероятно, лежит неисправность. Предложения — гипотезы. Они полезнее всего, когда указывают на недавнее изменение или зависимость, и наименее надёжны, когда причина новая.

Предиктивная эксплуатация. Прогнозирование проблем до их возникновения, например диска, который заполнится через три дня, или компонента, который, вероятно, откажет. Предиктивное обслуживание и предиктивную аналитику описывает Wikipedia. Предсказания — вероятности, и у каждого есть цена за ложные тревоги и за пропуски. См. тему 7.5 — Прогнозная аналитика и прогнозирование.

Анализ журналов. Использование приёмов обработки естественного языка и статистики для поиска закономерностей в журналах, таких как новые типы сообщений или изменения частоты. Анализ журналов описывает Wikipedia.

Генеративный ИИ в эксплуатации. Большие языковые модели могут резюмировать хронологии инцидентов, переводить оповещения на простой язык, составлять черновики шагов руководств и отвечать на вопросы о среде. Они добавляют гибкость и риск выдуманного содержимого. См. тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.

Точность, полнота и цена ошибок. Детектор может ошибаться двумя способами: поднять ложную тревогу (ложноположительный результат) или пропустить реальную проблему (ложноотрицательный). Оба типа ошибок и показатели точности и полноты описывает Wikipedia. Настройка на снижение одного увеличивает другое. Правильный баланс зависит от цены каждого, и разным услугам нужны разные настройки.

Дрейф концепции. Модели учатся на прошлых данных, а мир меняется: новые релизы, новые картины трафика, новая инфраструктура. Дрейф концепции, при котором статистические свойства предсказываемого меняются со временем, описывает Wikipedia. Модель, точная в январе, может вводить в заблуждение к июню, если её не отслеживать и не переобучать.

Объяснимость. Исполнители больше доверяют предложению и полезнее исправляют его, если видят, почему оно сделано: какие метрики сдвинулись, какие события сгруппированы, какое изменение предшествовало сдвигу. Объяснимый искусственный интеллект и проблему чёрных ящиков описывает Wikipedia. В эксплуатации предпочитайте подходы, показывающие свои свидетельства.

Качество и охват данных. AIOps нужны хорошие данные: полные, согласованные, с правильными метками времени и помеченные услугами и владельцами. Отсутствующие или несогласованные данные дают пропущенные сигналы и ложные связи. См. тему 4.4 — Управление конфигурациями и тему 7.2 — Основы данных и управление данными.

Автономные идеи и самовосстановление. Давняя цель систем, обнаруживающих и исправляющих собственные неисправности, описанная в Wikipedia как автономные вычисления. Части практичны сегодня, например перезапуск отказавшего процесса. Широкое самовосстановление гораздо труднее. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.

Человеческий надзор. Исполнитель остаётся подотчётным. Выходы AIOps — входы для решения человека, если только узко определённое действие не было проверено и одобрено для автоматического выполнения. См. тему 5.5 — Агентный ИИ и человеческий надзор.

Как вписываются линзы. AIOps сочетает ИИ и аналитику для эксплуатационной части управления услугами. Гибкая практика предлагает небольшие пилоты на одной услуге с обратной связью от дежурных. Автоматизация использует выход AIOps, например чтобы открыть обращение или выполнить безопасную проверку.

Лучшие практики

  1. Начинайте с чёткой боли. Выберите одну проблему, например слишком много оповещений по одной услуге, и показатель, например число вызовов за смену. Опробуйте AIOps там.
  2. Сначала наведите порядок в данных. Проверьте, что журналы и метрики полны, метки времени согласованы, а услуги и владельцы помечены. Закройте пробелы, прежде чем винить модель.
  3. Тестируйте на прошлых инцидентах. Прогоните исторические данные через инструмент и спросите, что он отметил бы, сгруппировал или предложил. Подсчитайте ложные тревоги и пропуски.
  4. Сравнивайте с простыми методами. Сравнивайте с фиксированными порогами и базовыми правилами. Если простой метод справляется не хуже, используйте его. Не платите за сложность, ничего не добавляющую.
  5. Предпочитайте объяснимые выходы. Выбирайте инструменты, показывающие свидетельства за оповещением или предложенной причиной. Требуйте, чтобы исполнители могли это видеть и оспаривать.
  6. Начинайте в рекомендательном режиме. Пусть инструмент предлагает, а люди решают. Несколько недель сверяйте предложения с тем, что произошло на самом деле, прежде чем давать ему какое-либо автоматическое действие.
  7. Ограничивайте автоматические действия. Разрешайте только узкие, хорошо понятные, обратимые действия с ограничениями частоты, журналами и ручной остановкой. Рассматривайте каждый класс действий до включения.
  8. Мониторьте модели. Отслеживайте ложные тревоги, пропуски и долю полезных предложений. Следите за дрейфом после крупных релизов и переобучайте или перенастраивайте при необходимости.
  9. Держите дежурных вовлечёнными. Просите их оценивать предложения в инструменте и еженедельно рассматривайте их обратную связь. Они лучшие судьи полезности.
  10. Записывайте, что было подавлено. Ведите журнал оповещений, которые система скрыла или объединила, и регулярно просматривайте выборки. Подавление — там, где происходят худшие сбои.

Вопросы для обсуждения с командой

Какие оповещения тратят больше всего времени наших дежурных и исправили бы их лучшие правила раньше любого ИИ? Начните с данных. Многие проблемы шума поддаются простым исправлениям. Ожидайте, что несколько правил дают большую часть шума. В продолжение исправьте их и затем переоцените, что мог бы добавить ИИ.

Если бы инструмент работал во время наших трёх последних инцидентов, что он сообщил бы и помогло бы ли это? Воспроизведите или смоделируйте. Ожидайте смешанных результатов. Спросите, что он упустил бы. В продолжение выберите тип инцидента, где инструмент кажется наиболее перспективным.

Как мы узнали бы, что инструмент подавил реальное оповещение? Вопрос проверяет надзор. Ожидайте «не узнали бы». В продолжение договоритесь о журнале подавленных событий, регулярной выборке и правиле, что не подавляется никогда.

Кто отвечает, когда автоматическое действие идёт не так, и каковы его пределы? Назовите владельца и перечислите разрешённые действия. Ожидайте расплывчатых ответов. В продолжение напишите короткий список действий, разрешённых без согласования, у каждого — откат.

Как мы обнаружим, что модель дрейфовала после крупного релиза или изменения трафика? Спросите план. Ожидайте, что его нет. В продолжение выберите индикаторы, например долю ложных тревог, и дату пересмотра после каждого крупного релиза.

Чего дежурные хотели бы от этого инструмента и что заставило бы их перестать ему доверять? Спросите их напрямую. Ожидайте практичных ответов о контексте и ложных тревогах. В продолжение превратите ответы в критерии приёмки пилота.

На практике: пример управления услугами

Команда эксплуатации национальной метеорологической службы ведёт конвейеры прогнозов и общедоступный API в смешанном хозяйстве локальных и облачных систем. Дежурные получают около 300 оповещений в день, большинство — от нескольких шумных источников. Вендор предлагает платформу AIOps с автоматической корреляцией и предложением первопричин.

Руководитель эксплуатации соглашается на пилот с условиями. Во-первых, команда чистит 12 самых шумных правил, что убирает около половины объёма. Во-вторых, она прогоняет через платформу в рекомендательном режиме шесть месяцев данных, включая 14 инцидентов. В прогоне платформа хорошо группирует оповещения: средний инцидент, дававший 80 оповещений, появляется как три группы. Она правильно отмечает первый признак в девяти из 14 инцидентов, пропускает три, где первый симптом был в журнале, и поднимает ложные тревоги на рутинной ночной переобработке, закономерность которой она не изучила.

Команда разворачивает её в рекомендательном режиме на одном конвейере на два месяца, при этом дежурные оценивают каждое предложение как полезное, нейтральное или неверное. Около 55 процентов оцениваются как полезные и 15 процентов — как неверные, обычно там, где причина — недавнее незаписанное изменение. Затем платформе разрешают автоматически открывать обращения для сгруппированных инцидентов и ничего больше. Команда ведёт еженедельный обзор подавленных оповещений и после крупного релиза обнаруживает, что базовая линия трафика модели теперь неверна и её надо переобучить.

Что изменилось: дежурные получают гораздо меньше, но лучше сгруппированных оповещений. Что остаётся трудным: предложения платформы зависят от точных записей об изменениях, которые неполны; она менее полезна для новых сбоев; а цены вендора растут с объёмом данных, поэтому команда ограничивает то, что загружает. Руководитель планирует расширить пилот на другой конвейер только после дальнейшего рассмотрения пропусков.

Четыре перспективы

Команды продукта и поставки

Выдавайте хорошую телеметрию: согласованные журналы, метрики с метками услуг и записи о развёртываниях и изменениях. Делитесь знаниями о проекте с командой эксплуатации и помогайте проверять предложения инструмента о вашей услуге.

Команды услуг и эксплуатации

Используйте инструмент как помощника: оценивайте предложения, просматривайте подавленное и сообщайте о пропусках. Держите правила простыми там, где они работают, и сохраняйте за собой решения и действия.

Руководство и управление

Просите результаты тестов воспроизведения и пилота, а не демонстрации. Задайте пределы автоматических действий. Финансируйте качество данных и обучение. Остерегайтесь заявлений о полностью автономной эксплуатации.

Клиенты и пользователи

Вы должны замечать меньше и более коротких нарушений, а не изменения в том, как вам сообщают о проблемах. Сообщайте поставщику, если инцидент был пропущен до того, как вы его заметили.

Agile, ИИ, автоматизация и аналитика

Agile

Проводите пилот на одной услуге с частой обратной связью дежурных, затем расширяйте шагами. Разбирайте пропуски после каждого инцидента и корректируйте. Предостережение: постоянная настройка модели без записи изменений делает поведение непредсказуемым; ведите журнал изменений.

ИИ

Сам инструмент — система ИИ с владельцем, тестовыми данными и проверкой. Относитесь к нему как к любой другой: записывайте, что он может делать, мониторьте и тестируйте после обновлений. Предостережение: вендоры могут менять модели без предупреждения; спросите, как они объявляют изменения, и регулярно тестируйте. См. тему 5.6 — Управление ИИ, риски и соответствие.

Автоматизация

Связывайте выход AIOps с узкими проверенными автоматическими действиями, такими как создание обращений, сбор диагностики и перезапуск известного отказывающего процесса, с пределами и журналами. Предостережение: автоматические действия, выбранные по неопределённым предсказаниям, могут ухудшить инцидент; требуйте высокой уверенности и отката. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.

Аналитика

Измеряйте объём оповещений, долю полезных, ложные тревоги, пропуски, найденные в разборах инцидентов, время обнаружения и время диагностики. Предостережение: снижения объёма оповещений можно добиться, скрывая реальные оповещения; всегда сравнивайте с инцидентами и пропусками. См. тему 7.4 — Наблюдаемость и телеметрия и книгу Service Management Metrics.

Типичные виды сбоев

  • Покупка обещания. Демонстрацию вендора принимают за свидетельство. Тестируйте на собственных данных воспроизведением и пилотом.
  • Плохие данные. Модель учится на несогласованных журналах и метках. Сначала исправьте данные.
  • Подавление без пересмотра. Реальные оповещения скрываются. Журналируйте и проверяйте выборкой подавленное.
  • Непрозрачные предложения. Исполнители не могут их оценить. Предпочитайте инструменты, показывающие свидетельства.
  • Преждевременная автоматизация. Неверные действия происходят на скорости. Начинайте в рекомендательном режиме и ограничивайте действия.
  • Дрейф модели игнорируется. Точность тихо деградирует. Мониторьте и переобучайте после изменений.
  • Сложность без выгоды. Хватило бы простого правила. Сравнивайте с простыми методами.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Основа данных Несогласованная Собраны основные источники Согласованная, помеченная телеметрия с владельцами Качество данных измеряется и улучшается Данные разделяются между командами и поставщиками под управлением
Использование ИИ Заявления вендоров Пилот на одной услуге Рекомендательное использование с воспроизведением и обратной связью Результаты измеряются, по ним действуют ИИ интегрирован в эксплуатацию с надзором
Автоматизация Нет Создание обращений Узкие одобренные действия с пределами Действия пересматриваются и улучшаются Более широкая автоматизация по риску под контролем человека
Уход за моделью Нет Случайная настройка Мониторинг дрейфа и ошибок Переобучение привязано к изменениям Непрерывная оценка по инструментам

Контрольный список

  • Мы выбрали конкретную проблему и показатель для пилота.
  • Сначала мы исправили худший шум оповещений простыми правилами.
  • Мы протестировали инструмент на исторических инцидентах и подсчитали пропуски и ложные тревоги.
  • Мы сравнили его с простыми методами.
  • Выходы объяснимы для исполнителей.
  • Мы работаем в рекомендательном режиме, прежде чем разрешать любое действие.
  • Автоматические действия узки, журналируются, ограничены по частоте и обратимы.
  • Мы отслеживаем дрейф и просматриваем подавленные оповещения.

Запросы к ИИ

Проверьте результаты воспроизведения.

Here are the results of replaying [number] past incidents through our AIOps tool: for each, the first real symptom, what the tool flagged and when, and what it suggested: [paste].
Compute for each incident whether the tool flagged the problem before the first page, and list false alarms and misses. Summarize counts and note incidents where the data is unclear. Do not rate the tool overall.
List what you are unsure of.

Просмотрите подавленные оповещения.

Here is a sample of alerts that the system suppressed or merged last week, with details: [paste sample].
For each, say whether the details suggest it was noise, a duplicate of another alert, or possibly a real problem, and give your reason. Mark those you cannot judge.
List what you are unsure of.

Подготовьте черновик критериев приёмки пилота.

Our service: [describe]. Our current pain: [describe, with numbers if known]. Our constraints: [list].
Draft acceptance criteria for a two-month pilot of an AIOps tool: measures, thresholds we should agree beforehand, what would make us stop, and what automatic actions are not allowed. Do not state vendor claims as facts.
List what you are unsure of.

ИИ-навыки

  • anomaly-analysis: используйте, чтобы исследовать необычные закономерности в эксплуатационных данных.
  • trend-analysis: используйте, чтобы видеть, как метрики меняются во времени.
  • data-quality: используйте, чтобы проверять входы, от которых зависит AIOps.
  • mlops: используйте, чтобы мониторить и поддерживать используемые модели.
  • root-cause-analysis: используйте, чтобы проверять предложенные причины на свидетельствах.

Ключевые источники

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), глава о мониторинге распределённых систем, свободно на sre.google: основы, на которых строится AIOps.
  • PeopleCert, ITIL certification pages: описание практики мониторинга и управления событиями от владельца.
  • Wikipedia, "AIOps" и "Anomaly detection": обзоры термина и приёмов.
  • Wikipedia, "Concept drift": главная причина деградации моделей со временем.

Источники

  1. AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
  2. Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
  3. Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
  4. Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
  5. Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
  6. Cluster analysis — Wikipedia — https://en.wikipedia.org/wiki/Cluster_analysis
  7. Precision and recall — Wikipedia — https://en.wikipedia.org/wiki/Precision_and_recall
  8. Type I and type II errors — Wikipedia — https://en.wikipedia.org/wiki/Type_I_and_type_II_errors
  9. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
  10. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
  11. Predictive maintenance — Wikipedia — https://en.wikipedia.org/wiki/Predictive_maintenance