Почему это важно

У дежурной работы есть форма. Срабатывает оповещение. Уставший инженер открывает руководство, выполняет ряд шагов, что-то перезапускает, проверяет, что сработало, и возвращается ко сну. Через неделю срабатывает то же оповещение и выполняются те же шаги. После десятого раза кто-то говорит: почему это делает человек?

Он прав. Повторение известного исправления вручную медленно, подвержено ошибкам и разъедает тех, кто это делает. Те же шаги, записанные как код, выполняются за секунды, каждый раз одинаково и оставляют запись. Руководства по эксплуатации (runbook) как сборники рутинных процедур, которые выполняет оператор, описывает Wikipedia. Превращение их в исполняемые, а в некоторых случаях и самостоятельно запускаемые — шаг от документации к автоматизации.

Этот шаг также опасен. Руководство, читаемое человеком, проходит человеческое суждение на каждом шаге. Код — нет. Автоматический перезапуск, оказавшийся неверным, может повторяться бесконечно, остановить здоровую услугу или маскировать более глубокую проблему, пока она не станет намного хуже. Многие сбои были затянуты или вызваны благонамеренным устранением, сделавшим быстро не то. Автономные вычисления — давнюю цель систем, управляющих собой, — описывает Wikipedia, а практический урок в том, что автономии нужны пределы.

Эта тема описывает, как осторожно двигаться от документа к скрипту и к автоматическому действию. Она опирается на управление знаниями (тема 3.9 — Управление знаниями), мониторинг (тема 3.10 — Мониторинг и управление событиями), управление инцидентами (тема 3.2 — Управление инцидентами) и стратегию автоматизации (тема 6.1 — Стратегия автоматизации). Она связана с ИИ-эксплуатацией (тема 5.2 — AIOps) и агентами, которые действуют (тема 5.5 — Агентный ИИ и человеческий надзор).

Основные понятия

Руководство по эксплуатации (runbook). Документированная процедура для конкретной повторяющейся эксплуатационной задачи или ситуации. Runbook описывает Wikipedia. У хорошего руководства есть триггер, пронумерованные шаги, ожидаемые результаты, шаг проверки и путь эскалации. См. тему 3.9 — Управление знаниями.

Автоматизация runbook. Реализация руководства как кода, выполняющего некоторые или все его шаги, обычно запускаемого человеком из консоли или командой в чате либо событием системы. Она сохраняет логику руководства, добавляя скорость, последовательность и записи.

Автоматическое устранение сбоев (auto-remediation). Автоматическое исправляющее действие в ответ на оповещение или событие, без запуска человеком. Примеры: перезапуск отказавшего процесса, очистка заполненного временного каталога, расширение пула воркеров или переключение на резерв. Статья Wikipedia об автономных вычислениях описывает цель — системы, обнаруживающие и исправляющие собственные неисправности. На практике автоматическое устранение охватывает узкий набор хорошо понятных неисправностей.

Последовательность. Команды обычно проходят этапы: письменное руководство; руководство со скриптами, которые запускает человек; руководство, которое человек запускает одной командой, причём скрипт сначала собирает проверки; оповещение, предлагающее действие и просящее согласования; и оповещение, запускающее действие самостоятельно в пределах. Каждому этапу нужны свидетельства предыдущего. Не пропускайте этапы для действий с реальными последствиями.

Что годится для автоматического действия. Неисправность частая, причина и исправление которой хорошо понятны, исправление безопасно и обратимо, а симптом надёжно её определяет. Примеры: зависший воркер без состояния или заполняющийся каталог журналов. Плохие кандидаты — всё, что удаляет данные, меняет доступ или зависит от суждения о влиянии на бизнес.

Условия безопасности. Перед действием проверьте, что ситуация действительно соответствует: оповещение актуально, услуга в ожидаемом состоянии, не идут развёртывание или обслуживание и действие не было только что выполнено. После действия проверьте результат. Пробный прогон (dry run) — репетицию, показывающую, что произошло бы, не делая этого, — описывает Wikipedia; это полезный режим для новых автоматизаций.

Пределы. Ограничьте, сколько раз действие может выполниться за период, на скольких экземплярах одновременно и как долго. Ограничение частоты описывает Wikipedia. Предел превращает неуправляемое развитие в ограниченное событие, а превышение предела должно вызвать человека.

Предохранители и отступление. Если автоматическое действие многократно отказывает или многократно срабатывает, остановитесь и эскалируйте, а не повторяйте бесконечно. Шаблон предохранителя (circuit breaker), при котором повторные сбои размыкают выключатель, останавливающий дальнейшие попытки на время, описывает Wikipedia. Добавляйте паузы между повторами и гистерезис, описанный в Wikipedia, чтобы предотвратить мерцание между состояниями.

Идемпотентность. Действие, безопасное для повтора. Идемпотентность описывает Wikipedia. Перезапуск службы, когда она уже перезапускается, не должен вызывать второй шторм перезапусков. Проектируйте действия, сначала проверяющие состояние.

Сторожевые таймеры и встроенное восстановление. Платформы предоставляют собственные механизмы восстановления: супервизоры процессов, перезапускающие упавшие службы, контейнерные платформы, заменяющие отказавшие экземпляры, и сторожевые таймеры (watchdog), описанные в Wikipedia, сбрасывающие зависшую систему. Предпочитайте встроенные механизмы специальным скриптам там, где они подходят, и понимайте, что они делают.

Переключение на резерв и масштабирование. Автоматическое переключение на резерв и автоматическое масштабирование мощности — формы автоматического устранения, которые часто предоставляют платформы. Переключение на резерв и автомасштабирование описывает Wikipedia. Им тоже нужны тесты и пределы, поскольку они могут ухудшить положение: переключение, вызванное кратким сбоем, может прервать здоровую услугу.

Маскировка проблем. Автоматизация, тихо исправляющая неисправность, может скрыть ухудшающуюся причину. Если услугу перезапускают каждый час, перезапуск — симптом проблемы, которую нужно исправить. Отслеживайте, как часто срабатывает каждая автоматизация, и считайте растущую частоту проблемой для расследования. См. тему 3.3 — Управление проблемами.

Журналы, аудит и уведомления. Каждое автоматическое действие должно записывать, что его запустило, что оно проверило, что сделало и каков результат, и уведомлять владеющую команду. Молчаливая автоматизация подрывает понимание системы. Журналы аудита вообще описывает Wikipedia.

Тестирование. Проверяйте автоматизации на реалистичных неисправностях в безопасной среде, включая случаи, когда проверки должны остановить действие. Хаос-инженерию — практику намеренного внесения сбоев, — которая может также проверять, правильно ли ведёт себя устранение, описывает Wikipedia. См. тему 3.12 — Управление непрерывностью услуг.

Владение и рассмотрение. У каждой автоматизации есть владелец, она живёт в системе контроля версий с рассмотрением и значится в реестре. Регулярно рассматривайте, как часто она срабатывает, удалось ли это и не следует ли исправить глубинную причину.

Доступ и безопасность. Инструменты устранения имеют власть над эксплуатацией. Дайте им собственную идентичность с узкими правами, нужными каждому действию, и защищайте код и триггеры от подделки. См. тему 3.13 — Управление информационной безопасностью.

Человеческие навыки. Если автоматизация обрабатывает рутинные неисправности, люди могут потерять чувство системы. Держите руководства читаемыми, репетируйте ручную работу и включайте автоматизации в игровые дни. См. тему 6.1 — Стратегия автоматизации.

Как вписываются линзы. Эта тема — линза автоматизации в точке эксплуатации. Гибкая практика предлагает подниматься по последовательности небольшими шагами с рассмотрением после каждого инцидента. ИИ может предлагать действия и выбирать руководства при описанных здесь пределах. Аналитика измеряет частоту срабатываний, успех и замаскированные проблемы.

Лучшие практики

  1. Начинайте с хорошего руководства. Сначала напишите, проверьте и используйте процедуру вручную. Автоматизация процедуры, которая не работает, лишь быстрее ломает.
  2. Тщательно выбирайте кандидатов. Ищите частые, хорошо понятные, безопасные, обратимые исправления с надёжным сигналом. Ранжируйте по сэкономленному времени дежурных и по риску.
  3. Поднимайтесь по ступеням. Двигайтесь от скрипта к запуску одной командой, к предлагаемому действию с согласованием, к автоматическому действию только по мере накопления свидетельств. Записывайте решение на каждом шаге.
  4. Проверяйте до и после. Убедитесь, что ситуация соответствует, что нет конфликтующей деятельности и что действие сработало. Остановитесь и эскалируйте, если любая проверка не пройдена.
  5. Задайте пределы и предохранитель. Ограничьте частоту, охват и длительность. Если действие срабатывает слишком часто или дважды отказывает, остановитесь и вызовите человека.
  6. Делайте действия идемпотентными и обратимыми. Сначала проверяйте состояние и пишите путь назад. Проверяйте оба.
  7. Журналируйте, уведомляйте и делайте видимым. Записывайте каждое автоматическое действие, сообщайте владеющей команде и показывайте частоту срабатываний на панели.
  8. Исправляйте причину. Считайте, как часто срабатывает каждая автоматизация, и заводите проблему, когда частота высока или растёт. Считайте автоматизацию мостом к исправлению, а не заменой.
  9. Тестируйте в безопасных условиях. Репетируйте с реалистичными неисправностями и краевыми случаями, включая те, что должны быть отклонены. Включайте автоматизации в игровые дни.
  10. Владейте и пересматривайте. Назовите владельца, храните код в системе контроля версий с рассмотрением, регистрируйте каждую автоматизацию и ежеквартально решайте, какие сохранить, изменить или вывести.

Вопросы для обсуждения с командой

Какие оповещения мы каждый раз исправляем одинаково и сколько времени занимает каждое? Используйте данные инцидентов и оповещений. Ожидайте горстку, составляющую большую часть вызовов. В продолжение выберите одно и проверьте точность его руководства.

Что могло бы пойти не так, если бы это исправление выполнилось, когда не следовало? Представьте неверный триггер или неверную цель. Ожидайте нескольких неприятных случаев. В продолжение добавьте для каждого проверку или предел.

Как мы узнали бы, что автоматизация маскирует растущую проблему? Спросите, что мы увидели бы. Ожидайте «ничего». В продолжение договоритесь считать срабатывания и задать порог для заведения проблемы.

Какой максимальный ущерб может нанести один запуск и как мы его остановим? Назовите охват. Ожидайте неопределённости. В продолжение задайте предел и отрепетируйте остановку.

Когда мы в последний раз делали эту задачу вручную и могли бы все дежурные сделать её до сих пор? Спросите, когда в последний раз. Ожидайте, что давно. В продолжение запланируйте репетицию.

Где ИИ мог бы предлагать или выбирать устранение и что всё равно должен согласовывать человек? ИИ может сопоставлять симптомы с руководствами и предлагать действия. Спросите, какие действия требуют согласования и кто решает. В продолжение выберите пилот, где ИИ предлагает, а человек согласует, с показателями того, как часто предложение было верным.

На практике: пример управления услугами

Команда пассажирской информации национальной железной дороги ведёт табло на 400 станциях, питаемые службой данных. Примерно дважды в неделю процессор канала зависает, и табло замирают на старом времени. Дежурного инженера вызывают, он входит, проверяет, что процесс завис, перезапускает его и подтверждает обновления. Это занимает около 20 минут, в основном ночью.

Команда записывает руководство, уточняя его после проб на двух инцидентах: подтвердить оповещение, проверить, что развёртывание не идёт, проверить, что процесс не писал в журнал пять минут, перезапустить, подождать две минуты, проверить, что метка времени выхода актуальна, и отметить инцидент. Они превращают его в скрипт с режимом пробного прогона, и инженер запускает его одной командой в чате в течение месяца. Каждый раз он срабатывает.

Затем они подключают его к оповещению в режиме предложения: оповещение публикует выводы скрипта и кнопку, просящую дежурного инженера согласовать. Через месяц каждое согласование оказывается верным и занимает менее двух минут. Команда решает позволить ему работать автоматически при строгих условиях: только когда проверки проходят, не чаще двух раз в час, никогда во время развёртывания и с вызовом человека, если второй перезапуск не помогает. Он журналирует каждый запуск и пишет в канал команды.

За первые два месяца автоматизация срабатывает 19 раз. Обзор показывает, что зависание происходит чаще после ночного обновления определённого поставщика данных, чего команда не замечала, когда обрабатывала каждый вызов по отдельности. Они заводят проблему с поставщиком. В одном запуске предохранитель срабатывает после двух неудачных перезапусков и вызывает инженера, обнаруживающего, что диск заполнен — причина, которую руководство не покрывало.

Что изменилось: инженеры спят во время большинства этих событий, а табло восстанавливаются менее чем за три минуты. Что остаётся трудным: поставщик ещё не исправил формат данных; команда заметила, что новые инженеры никогда не выполняли ручную процедуру, и беспокоится об их навыках; а дополнительный шаг проверки диска добавили только после неожиданности. Руководитель назначает ежеквартальную ручную репетицию и добавляет проверку диска в скрипт.

Четыре перспективы

Команды продукта и поставки

Стройте услуги, которые легко восстанавливать: конечные точки состояния, безопасный перезапуск, идемпотентные операции и понятные журналы. Пишите руководства вместе с кодом и исправляйте причины, которые выявляет автоматизация.

Команды услуг и эксплуатации

Владейте руководствами и автоматизациями: пишите, проверяйте, ограничивайте, журналируйте и пересматривайте. Поддерживайте ручные навыки живыми и считайте частое срабатывание проблемой для исправления.

Руководство и управление

Поддерживайте подъём по ступеням на основе свидетельств и просите частоту срабатываний и проверки на замаскированные проблемы. Финансируйте время на исправление причин. Остерегайтесь заявлений о самовосстанавливающихся системах.

Клиенты и пользователи

Вы должны видеть более быстрое восстановление и меньше видимых сбоев. Если автоматическое исправление не сработало или вызвало проблему, сообщите поставщику, чтобы правило можно было исправить.

Agile, ИИ, автоматизация и аналитика

Agile

Улучшайте устранение после каждого инцидента: уточняйте руководство, добавляйте проверку или делайте шаг вверх по ступеням. Держите изменения небольшими и рассмотренными. Предостережение: не автоматизируйте оптом после плохой ночи; берите по одному исправлению с тестами.

ИИ

ИИ может сопоставлять оповещения с руководствами, предлагать шаги и готовить черновики новых руководств по заметкам инцидентов, а всё, что действует, требует согласования. Назовите владельца и измеряйте точность предложений. Предостережение: ИИ, выбирающий действие по необычному оповещению, может выбрать неверно; ограничьте его списком одобренных действий. См. тему 5.5 — Агентный ИИ и человеческий надзор.

Автоматизация

Эта тема — линза автоматизации в эксплуатации: условия безопасности, пределы, предохранители, идемпотентность, журналы и рассмотрение. Предостережение: автоматическое устранение может маскировать проблемы и ухудшать их; считайте срабатывания, ограничивайте запуски и эскалируйте при сбое. См. тему 6.1 — Стратегия автоматизации.

Аналитика

Отслеживайте частоту срабатываний по автоматизациям, долю успехов, время восстановления, число избежанных вызовов, срабатывания предохранителей и проблемы, заведённые по закономерностям. Предостережение: избежанные вызовы легко завысить, и они могут скрывать растущую частоту срабатываний; отслеживайте оба показателя вместе. См. тему 7.4 — Наблюдаемость и телеметрия и книгу Service Management Metrics.

Типичные виды сбоев

  • Автоматизация непроверенного руководства. Исправление неверно, и на скорости. Сначала проверяйте вручную.
  • Нет пределов. Цикл или ложное срабатывание повторяется. Ограничьте запуски и используйте предохранитель.
  • Скрытые проблемы. Перезапуски маскируют причину. Считайте срабатывания и исправляйте причины.
  • Нет проверок перед действием. Действие попадает в здоровую или занятую систему. Проверяйте условия.
  • Молчаливая автоматизация. Никто не знает, что она сделала. Журналируйте и уведомляйте.
  • Навыки угасают. Никто не может сделать это вручную. Репетируйте.
  • Инструменты с избыточными привилегиями. Одна компрометация достигает всего. Используйте узкие идентичности.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Руководства В головах или почте Написаны для главных оповещений Проверенные руководства, связанные с оповещениями Качество руководств пересматривается после инцидентов Руководства ведутся как код по услугам
Автоматизация Нет Скрипты, запускаемые людьми Одобренные проверенные действия с предложениями Выбранные действия выполняются автоматически с пределами Безопасные действия выбираются по риску под контролем человека
Безопасность Нет Базовое журналирование Проверки, пределы, предохранители и откат Безопасность проверяется и аудируется Безопасность встроена в общие платформы
Обучение Тушение пожаров Случайные пересмотры Частота срабатываний отслеживается, причины заводятся как проблемы Повторяемость измеряется и снижается Обучение распространяется по командам и поставщикам

Контрольный список

  • Руководство было написано, проверено и использовано вручную до автоматизации.
  • У каждой автоматизации есть триггер, предусловия, проверка и эскалация.
  • Действия идемпотентны и обратимы.
  • Пределы и предохранитель ограничивают частоту и охват.
  • Каждый запуск журналируется, а владеющая команда уведомляется.
  • Мы отслеживаем, как часто срабатывает каждая автоматизация, и заводим проблемы по закономерностям.
  • Автоматизации находятся в системе контроля версий, рассматриваются и зарегистрированы с владельцами.
  • Мы репетируем ручную работу и проверяем автоматизации на реалистичных неисправностях.

Запросы к ИИ

Превратите заметки об инцидентах в черновик руководства.

Here are notes from three incidents that had the same fix: [paste, personal data removed].
Draft a runbook with: trigger, preconditions to check, numbered steps with expected results, verification, rollback, and escalation. Use only what the notes say; write [missing] for anything not stated.
List what you are unsure of.

Найдите пробелы безопасности в автоматизации.

Here is a description of an auto-remediation: trigger, checks, action, and limits: [paste].
List which of these are missing or unclear: precondition checks, post-action verification, rate limit, circuit breaker, idempotence, rollback, logging, notification, owner. Quote the text for each you consider present. Do not assume any.
List what you are unsure of.

Просмотрите данные срабатываний.

Here is a log of when each automation fired in the last month, with result: [paste].
Count firings per automation, list those that are rising or clustered at the same time of day, and list questions to find causes. Do not guess causes.
List what you are unsure of.

ИИ-навыки

  • runbook: используйте, чтобы писать и проверять процедуру перед автоматизацией.
  • chaos-testing: используйте, чтобы проверять устранение на реалистичных неисправностях.
  • root-cause-analysis: используйте, чтобы находить причины, которые скрывает автоматизация.
  • on-call-rotation: используйте, чтобы проектировать устойчивые графики дежурств.
  • incident-response-plan: используйте, чтобы определить роли и эскалацию вокруг автоматизации.

Ключевые источники

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), главы об устранении рутины и об автоматизации, свободно на sre.google.
  • Lisanne Bainbridge, "Ironies of Automation" (Automatica, 1983): почему автоматизация неожиданным образом меняет роль человека.
  • Wikipedia, "Runbook" и "Autonomic computing": обзоры документа и стремления.
  • Wikipedia, "Circuit breaker design pattern": шаблон остановки повторяющихся сбоев.

Источники

  1. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  2. Autonomic computing — Wikipedia — https://en.wikipedia.org/wiki/Autonomic_computing
  3. Circuit breaker design pattern — Wikipedia — https://en.wikipedia.org/wiki/Circuit_breaker_design_pattern
  4. Watchdog timer — Wikipedia — https://en.wikipedia.org/wiki/Watchdog_timer
  5. Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
  6. Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
  7. Failover — Wikipedia — https://en.wikipedia.org/wiki/Failover
  8. Autoscaling — Wikipedia — https://en.wikipedia.org/wiki/Autoscaling
  9. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  10. Hysteresis — Wikipedia — https://en.wikipedia.org/wiki/Hysteresis
  11. Dry run (testing) — Wikipedia — https://en.wikipedia.org/wiki/Dry_run_(testing)
  12. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/