Почему это важно

В каждой услуге есть напряжение между изменением и надёжностью. Клиенты хотят новых функций и хотят, чтобы услуга работала. Команды, быстро проталкивающие изменения, вызывают сбои, а команды, оберегающие стабильность, всё замедляют. Без способа сопоставить эти два желания спор решает самый громкий или последний инцидент.

Инженерия надёжности сайтов предлагает способ сделать компромисс явным. Она исходит из идеи, что идеальная надёжность невозможна и не нужна: пользователи не отличают доступность 99,999 процента от 99,99 процента, когда их собственное устройство и сеть отказывают чаще, а каждая лишняя девятка стоит намного дороже. Поэтому команда согласует целевой показатель, соответствующий нужде пользователей, измеряет его и использует зазор между целью и совершенством как бюджет риска.

SRE возникла в Google в начале 2000-х и описана в книгах, которые компания опубликовала в сети. Многие другие организации приняли её части. Для управления услугами её ценность в том, что она даёт конкретные инженерные версии идей, которые ITIL называет управлением уровнем услуг, управлением доступностью и непрерывным улучшением. Эта тема объясняет основные идеи и предостерегает от копирования без контекста, благодаря которому они работали.

Основные понятия

Что такое SRE. Wikipedia описывает инженерию надёжности сайтов как набор принципов и практик, применяющих аспекты программной инженерии к ИТ-инфраструктуре и эксплуатации для создания масштабируемых и надёжных систем. Команда SRE обычно включает людей с навыками программирования и системного администрирования, которые автоматизируют эксплуатационную работу и участвуют в проектировании ради надёжности.

Индикатор уровня услуги (SLI). Мера некоторого аспекта услуги так, как его переживают пользователи, например доля успешных запросов или доля запросов, завершённых за 300 миллисекунд. Хороший индикатор отражает то, что важно пользователям, а не то, что легко измерить.

Целевой уровень услуги (SLO). Целевое значение индикатора за период, например «99,9 процента запросов успешны за скользящие 30 дней». Цель — внутренняя задача, согласованная между теми, кто эксплуатирует услугу, и теми, кто от неё зависит. Wikipedia описывает целевые уровни услуг как часть соглашений об уровне услуг.

Соглашение об уровне услуг (SLA). Договор с последствиями, часто финансовыми, если услуга опускается ниже согласованного уровня. SLA обычно задаёт более мягкий показатель, чем внутренний SLO, так что у команды есть предупреждение до нарушения. См. тему 3.7 — Управление уровнем услуг.

Бюджет ошибок. Допустимый объём ненадёжности: если цель 99,9 процента, бюджет — оставшиеся 0,1 процента. Пока бюджет не израсходован, команда может рисковать, например выпускать релизы быстрее. Когда бюджет потрачен, команда замедляет изменения и вкладывается в надёжность. Бюджет превращает компромисс между надёжностью и изменениями в общее измеримое решение, а не в спор.

Рутина (toil). Работа ручная, повторяющаяся, автоматизируемая, тактическая и растущая вместе с услугой без добавления долговременной ценности. Примеры: ручной перезапуск службы, ручная обработка запросов одного типа и подтверждение шумных оповещений. Практика SRE ограничивает долю времени на рутину, часто примерно половиной, а остальное тратит на инженерную работу, сокращающую её.

Мониторинг и оповещение. Оповещения должны быть действенными и привязанными к симптомам, которые чувствуют пользователи, с чётким ответом. Шумные оповещения, на которые никто не реагирует, приучают людей их игнорировать. См. тему 3.10 — Мониторинг и управление событиями и тему 7.4 — Наблюдаемость и телеметрия.

Реагирование на инциденты и разборы без поиска виноватых. SRE подчёркивает чёткие роли во время инцидентов, коммуникацию и структурированные разборы после них, которые смотрят на систему и дают отслеживаемые действия. См. тему 3.2 — Управление инцидентами и тему 3.3 — Управление проблемами.

Ёмкость и производительность. SRE включает прогнозирование спроса, проверку пределов и планирование ёмкости, чтобы рост не вызывал сбоев. См. тему 3.11 — Доступность, емкость и производительность.

Инженерия релизов и изменения. Надёжные, воспроизводимые релизы, часто с прогрессивным выкатыванием и автоматическим откатом, — часть работы SRE. См. тему 2.2 — Непрерывная поставка.

Тренировка сбоев. Хаос-инженерия намеренно, под контролем, вносит сбои, чтобы обнаружить слабости раньше реальных инцидентов. Игровые дни репетируют реагирование. См. тему 3.12 — Управление непрерывностью услуг.

SRE и DevOps. У них много общих идей. Распространённое описание: SRE — один из способов реализации принципов DevOps с конкретным набором практик, таких как SLO, бюджеты ошибок и пределы рутины. См. тему 2.5 — DevOps.

SRE и ITIL. SLO и бюджеты ошибок стоят рядом с управлением уровнем услуг; разборы без поиска виноватых — рядом с управлением проблемами; сокращение рутины поддерживает непрерывное улучшение. SRE описывает, как техническая команда может делать такую работу, а ITIL описывает практики, нужные организации в целом.

Пределы копирования. SRE разработана в очень крупной инженерной организации с определёнными масштабом и штатом. Небольшая команда не может и не должна копировать её структуру. Начните с нескольких идей: выберите индикатор, ориентированный на пользователя, задайте цель и запишите, что вы будете делать, когда бюджет израсходован.

Как вписываются линзы. SRE в значительной мере — инженерная сторона гибкой линзы для действующих услуг. ИИ может помогать с сортировкой оповещений и резюме инцидентов под человеческой проверкой. Автоматизация — основное средство против рутины. Аналитика поставляет SLI и данные о рутине и инцидентах.

Лучшие практики

  1. Выбирайте индикаторы, отражающие опыт пользователя. Спросите, что пользователь назвал бы «работающим»: загружающиеся страницы, завершающиеся платежи, приходящие файлы. Измеряйте это, а не загрузку процессора.
  2. Задавайте цель вместе с теми, кто зависит от услуги. Согласуйте число, соответствующее реальной нужде, записанное с периодом и способом измерения. Пересматривайте его, когда потребности меняются.
  3. Используйте бюджет ошибок для решений. Запишите, что происходит, когда бюджет почти исчерпан, например замораживание рискованных изменений, и кто решает. Договоритесь об этом до первого раза, когда это станет важно.
  4. Держите цели строже соглашений. Устанавливайте внутренний показатель так, чтобы замечать неприятности до нарушения контракта. См. тему 3.7 — Управление уровнем услуг.
  5. Считайте и ограничивайте рутину. Отслеживайте, сколько времени уходит на повторяющуюся ручную работу, и установите предел. Остальное тратьте на устранение крупнейших источников рутины.
  6. Оповещайте о симптомах и держите оповещения действенными. Каждое оповещение должно говорить, что не так для пользователей и что делать. Убирайте или исправляйте оповещения, на которые никто не реагирует.
  7. Делите дежурства справедливо и устойчиво. Ограничьте число вызовов за смену, обеспечьте обучение и документированный путь эскалации и регулярно пересматривайте нагрузку. См. тему 8.3 — Организационные изменения и внедрение.
  8. Разбирайте инциденты без поиска виноватых и доводите дело до конца. Пишите хронологию, способствовавшие факторы и действия с владельцами и датами. Проверяйте, что действия выполнены.
  9. Тренируйте сбои в безопасных условиях. Проводите игровые дни и небольшие хаос-эксперименты в тестовой среде или с ограниченным воздействием, с понятной кнопкой остановки.
  10. Начинайте с малого. Выберите одну важную услугу, определите один-два SLI и SLO и учитесь на результате, прежде чем расширять.

Вопросы для обсуждения с командой

Что наши пользователи назвали бы «работает» для этой услуги и измеряем ли мы это? Это отправная точка для индикаторов. Команды часто измеряют здоровье серверов вместо этого. Спросите, когда в последний раз пользователи были недовольны, а наши панели были зелёными. В продолжение выберите один видимый пользователю индикатор для измерения.

Насколько надёжной эта услуга должна быть на самом деле и кто это решил? Целевые показатели часто задают по привычке, например «пять девяток». Спросите, что делают пользователи, когда услуга недоступна, и во что обходится час простоя. Ожидайте разногласий. В продолжение составьте цель и сверьте её с клиентом.

Что мы будем делать, когда израсходуем бюджет ошибок, и сделаем ли это на самом деле? Политики, которые никогда не применяются, учат людей их игнорировать. Спросите, что было в прошлый раз, когда надёжность страдала, а изменения продолжались. В продолжение договоритесь о небольшом конкретном ответе и о том, кто решает.

Каковы три крупнейших источника рутины для нашей команды и что нужно, чтобы убрать каждый? Попросите людей перечислить повторяющиеся задачи и оценить время. Ожидайте ручные перезапуски, исправления данных и запросы доступа. В продолжение выберите один пункт и оцените работу по автоматизации по сравнению с временем, сэкономленным за год.

Сколько вызовов получили наши дежурные в прошлом месяце и сколько из них потребовало вмешательства человека? Вопрос проверяет качество оповещений и нагрузку. Попросите числа; если их никто не знает, это находка. В продолжение выберите самое шумное оповещение, чтобы исправить или удалить.

Где ИИ мог бы помочь с оповещениями или резюме инцидентов и как мы заметили бы его ошибки? ИИ может группировать оповещения, составлять резюме и предлагать шаги из руководств. Он также может скрыть реальный сигнал или выдумать причину. Спросите, кто им владеет и как проверяется его выход. В продолжение опробуйте инструмент резюме параллельно с человеческим процессом и сравните.

На практике: пример управления услугами

Команда цифрового архива национальной библиотеки ведёт поисковую услугу для исследователей. Команда из шести человек дежурит по очереди. Вызовы приходят ночью примерно раз в неделю, в основном из-за оповещения о нехватке дискового пространства на пакетном сервере, которое кто-то очищает вручную. Руководство просит в годовом плане «доступность 99,99 процента», хотя никто не измерял текущую результативность.

Руководитель команды предлагает эксперимент поменьше. Вместе с двумя исследователями команда определяет один индикатор: долю поисковых запросов, возвращающих результаты в течение двух секунд. Они измеряют его месяц и находят 99,2 процента. Исследователи говорят, что замечают медлительность, только когда поиск занимает больше пяти секунд, а это происходит примерно в 0,3 процента запросов, в основном во время ночной перестройки индекса. Они согласуют цель 99,5 процента в пределах двух секунд за 30 дней и политику бюджета ошибок: если за период израсходовано более 75 процентов бюджета, команда приостанавливает несрочные релизы и устраняет крупнейшую причину.

Команда также считает рутину. Ручная очистка диска занимает около двух часов в месяц и будит кого-то. Они автоматизируют очистку, добавляют оповещение о быстром росте вместо полного диска и репетируют игровой день по восстановлению индекса из резервной копии.

Что изменилось: ночные вызовы сокращаются, а релизы в первом квартале приостанавливаются один раз, когда бюджет иссякает, причина прослеживается до одного медленного запроса. Что остаётся трудным: годовой план по-прежнему говорит «99,99 процента», поскольку руководители не согласились его заменить; перестройка индекса зависит от службы хранения, которую ведёт другое подразделение; а команда не уверена, одинаково ли переживают услугу исследователи в других часовых поясах. Руководитель выносит формулировку плана на следующий обзор.

Четыре перспективы

Команды продукта и поставки

Делитесь целью и бюджетом с эксплуатацией. Включайте работу над надёжностью в бэклог, выпускайте релизы прогрессивно и наблюдайте эффект изменений. Когда бюджет потрачен, присоединяйтесь к усилиям по сокращению причины.

Команды услуг и эксплуатации

Определяйте индикаторы вместе с пользователями, держите оповещения действенными и тратьте время на инженерию, устраняющую рутину. Приносите на планирование нагрузку дежурств и данные об инцидентах. Пишите разборы, ведущие к отслеживаемым действиям.

Руководство и управление

Согласуйте цели, отражающие реальную нужду, и поддерживайте политику бюджета, когда она требует замедлить изменения. Финансируйте время на сокращение рутины и работу над надёжностью. Не просите совершенства.

Клиенты и пользователи

У вас должны спросить, что для вас значит «работает», и сообщить, каков целевой показатель. Чётко сообщайте о проблемах и ожидайте узнать, что было сделано. Если цель кажется неверной для ваших потребностей, скажите об этом.

Agile, ИИ, автоматизация и аналитика

Agile

SRE добавляет измеримые цели надёжности к непрерывной поставке и улучшению. Держите заинтересованные стороны вовлечёнными в постановку целей и регулярно пересматривайте их. Предостережение: бюджеты ошибок не заменяют суждение; некоторые инциденты, например утечка данных, важны независимо от бюджета.

ИИ

ИИ может группировать связанные оповещения, предлагать вероятные причины и составлять черновики резюме инцидентов. Каждому применению нужны владелец и человек, отвечающий за решения, а также способ сравнивать предложения ИИ с тем, что произошло на самом деле. Предостережение: ИИ, подавляющий оповещения для снижения шума, может скрыть реальные сбои; проверяйте его на известных инцидентах. См. тему 5.2 — AIOps.

Автоматизация

Автоматизируйте рутину: перезапуски, очистки, обычный доступ и повторяющуюся диагностику, с журналами, пределами и способом отключения. Предостережение: автоматизация, действующая на производственной среде, может ухудшить инцидент; добавьте ограничения частоты и ручную остановку. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.

Аналитика

Используйте SLI, достижение SLO, расход бюджета ошибок, часы рутины и качество оповещений. Предостережение: цели, выбранные потому, что их легко достичь, или индикаторы, игнорирующие части опыта пользователя, дают ложное спокойствие; сверяйте их с жалобами пользователей. См. тему 7.4 — Наблюдаемость и телеметрия и книгу Service Management Metrics.

Типичные виды сбоев

  • Копирование чужих чисел. «Пять девяток» принимаются без знания нужды. Решайте исходя из потребности пользователей и стоимости.
  • Индикаторы, мимо пользователя. Панели зелёные, а пользователи жалуются. Измеряйте то, что переживают пользователи.
  • Политика бюджета, которой никто не следует. Изменения продолжаются, когда бюджет потрачен. Заранее согласуйте реакцию и применяйте её.
  • Шум оповещений. Дежурные игнорируют вызовы. Делайте каждое оповещение действенным.
  • Рутина как норма. У команды никогда нет времени автоматизировать. Считайте её и установите предел.
  • SRE как переименование эксплуатации. Практики не принимаются. Определите индикаторы, цели и бюджеты.
  • Культура героев. Один человек решает каждый инцидент. Делитесь знаниями и руководствами.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Индикаторы и цели Нет видимых пользователю показателей Только показатели инфраструктуры SLI и SLO, ориентированные на пользователя, для ключевых услуг Цели пересматриваются с пользователями и затратами Цели координируются между зависимыми услугами
Бюджет ошибок Нет Обсуждается Записанная политика применяется Результаты политики рассматриваются Бюджеты общие для команд и партнёров
Рутина Не измеряется Выявляется неформально Считается и ограничивается Сокращается отслеживаемой автоматизацией Сокращается по услугам общими инструментами
Обучение на инцидентах Обвинение Некоторые разборы Разборы без поиска виноватых с отслеживаемыми действиями Выполнение действий и повторения измеряются Обучение распространяется по организации

Контрольный список

  • У каждой важной услуги есть хотя бы один видимый пользователю индикатор.
  • У каждого есть цель, согласованная с теми, кто на него полагается.
  • Мы записали, что происходит, когда бюджет ошибок почти исчерпан.
  • Наши внутренние цели строже наших соглашений.
  • Мы отслеживаем рутину и имеем предел.
  • Оповещения действенные, а шумные исправлены или удалены.
  • Нагрузка дежурств измеряется и устойчива.
  • Разборы инцидентов проходят без поиска виноватых, а действия отслеживаются до завершения.

Запросы к ИИ

Подготовьте черновик кандидатов в индикаторы.

Our service: [describe what it does and who uses it]. What users complain about: [list].
Propose up to five candidate service level indicators, each with what it measures, how it could be computed from [available data sources], and one way it could mislead. Do not choose an objective.
List what you are unsure of.

Рассчитайте расход бюджета ошибок.

Our objective: [for example, 99.5 percent of requests under two seconds over 30 days]. Here are daily counts of good and total events for the period: [paste data].
Calculate attainment so far, the error budget used as a percentage, and the daily burn rate, showing each calculation. Do not predict beyond the data.
List what you are unsure of.

Проранжируйте кандидатов на рутину.

Here is a list of repetitive tasks our team does, with how often and how long each takes: [paste list].
Compute hours per month for each, rank them, and for the top five list one question about whether automating it is safe. Do not recommend specific tools.
List what you are unsure of.

ИИ-навыки

  • service-level-agreement: используйте, чтобы связать цели с соглашениями.
  • postmortem: используйте, чтобы проводить разборы без поиска виноватых с отслеживаемыми действиями.
  • chaos-testing: используйте, чтобы планировать безопасные эксперименты со сбоями.
  • capacity-planning: используйте, чтобы прогнозировать спрос и пределы.

Ключевые источники

  • Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy (eds.), Site Reliability Engineering: How Google Runs Production Systems (2016), свободно доступна на sre.google: основной источник практик.
  • Betsy Beyer and others (eds.), The Site Reliability Workbook (2018): практические рекомендации по внедрению.
  • Wikipedia, "Site reliability engineering": нейтральный обзор.
  • Wikipedia, "Service-level objective": предыстория терминов.

Источники

  1. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  2. Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
  3. Service level indicator — Wikipedia — https://en.wikipedia.org/wiki/Service_level_indicator
  4. Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
  5. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  6. Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
  7. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  8. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  9. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/