Почему это важно

Пользователи оценивают услугу прежде всего по трём вещам: могу ли я ею пользоваться, справляется ли она, когда ею пользуются многие, и быстра ли она? Сбои в любой из них проявляются как потерянная работа, брошенные покупки и сердитые звонки. Тем не менее все три легко упустить, пока не наступит плохой день: запуск, удваивающий трафик, крайний срок, посылающий всех в систему в последний час, отказ единственного компонента, от которого, как никто не понимал, зависело всё.

Эти практики существуют, чтобы избегать плохих дней, продумывая их заранее. Они спрашивают, какой отказ услуга может выдержать и во что это обойдётся, какой спрос она должна обработать и как он будет расти и как быстро она должна отвечать. Отвечают они проектными решениями, такими как резервирование, тестами, находящими пределы раньше пользователей, и прогнозами, которые проверяются и обновляются.

ITIL 4 описывает три связанные практики: управление доступностью, управление ёмкостью и производительностью и, тесно связанное с ними, управление непрерывностью услуг (тема 3.12 — Управление непрерывностью услуг). Инженерные команды встречают их как инженерию надёжности, инженерию производительности и планирование ёмкости, используя SLO и бюджеты ошибок (тема 2.6 — Инженерия надежности сайтов). Эта тема объединяет идеи и объясняет, как использовать их без излишеств: больше доступности — не всегда лучше, поскольку каждая лишняя девятка стоит дороже. Она связана с управлением уровнем услуг (тема 3.7 — Управление уровнем услуг) и мониторингом (тема 3.10 — Мониторинг и управление событиями).

Основные понятия

Доступность. Способность услуги выполнять согласованную функцию, когда это требуется. Wikipedia описывает доступность как долю времени, в течение которого система функционирует. Обычно её выражают в процентах за период, например 99,9 процента в месяц, что допускает около 43 минут простоя. Цифра содержательна только когда вы определили, что значит «функционирует» для пользователей.

Надёжность и ремонтопригодность. Надёжность — как долго услуга работает без сбоя; ремонтопригодность — как быстро её можно восстановить. Доступность зависит от обоих. Показатели описывают статьи Wikipedia об инженерии надёжности и о средней наработке на отказ (MTBF). Во многих современных услугах быстрое восстановление достижимее редкого отказа.

Резервирование и единые точки отказа. Резервирование означает наличие запасных компонентов, чтобы один отказ не останавливал услугу. Единая точка отказа — компонент, отказ которого останавливает всё. Идеи описывают статьи Wikipedia о резервировании и единых точках отказа. Поиск единых точек отказа, включая людей, поставщиков и истекающие сертификаты, — основная задача управления доступностью.

Отказоустойчивость и плавная деградация. Отказоустойчивая система продолжает работать при отказе частей; система с плавной деградацией теряет часть функций, но сохраняет ядро. Например, торговый сайт может отключить рекомендации, но продолжать обрабатывать заказы. Проектируйте второе, где полная устойчивость слишком дорога.

Переключение на резерв (failover). Переход на резервный компонент при отказе основного. Его нужно проверять; непроверенное переключение часто не срабатывает, когда нужно. См. тему 3.12 — Управление непрерывностью услуг.

Ёмкость. Максимальная пропускная способность, которую может обеспечить услуга. Управление ёмкостью следит, чтобы её было достаточно, и не намного больше достаточного, для текущего и будущего спроса при согласованной стоимости. Планирование ёмкости описывает Wikipedia.

Спрос. Нагрузка на услугу: пользователи, запросы, объём данных. Спрос меняется по часам, дням, сезонам и событиям, и на него влияют запуски, кампании и внешние события. Понимание картины важнее среднего.

Масштабируемость и автомасштабирование. Способность справляться с большей нагрузкой добавлением ресурсов. Облачные платформы позволяют автоматическое масштабирование, добавляющее мощность при росте нагрузки. Оно помогает, но не снимает необходимости планирования: у него есть пределы, оно стоит денег и не исправляет базу данных, которая не масштабируется. См. тему 4.5 — Финансовое управление и FinOps.

Производительность. Как быстро и эффективно услуга отвечает. Типичные показатели — задержка (сколько занимает запрос), пропускная способность (сколько запросов обрабатывается) и частота ошибок. Задержку в инженерии описывает Wikipedia. Пользователи замечают медленный хвост, поэтому смотрите на процентили, такие как 95-й, а не только на среднее. См. тему 3.7 — Управление уровнем услуг.

Очереди и насыщение. По мере приближения системы к полной загрузке время ожидания резко растёт. Теория массового обслуживания, описанная в Wikipedia, объясняет, почему услуга, работающая на 95 процентах ёмкости, ощущается совсем иначе, чем на 60 процентах. Оставляйте запас.

Инженерия и тестирование производительности. Проектирование и тестирование производительности на протяжении всей разработки, а не только в конце. Нагрузочное тестирование применяет ожидаемый спрос; стресс-тестирование выходит за него, чтобы найти точки разрушения. Оба описывает Wikipedia. Тестируйте в среде, похожей на производственную, с реалистичными данными.

Прогнозирование. Оценка будущего спроса по истории, известным событиям и росту. Методы описывает Wikipedia. Прогнозы неопределённы: записывайте допущения, показывайте диапазоны и сравнивайте предсказания с тем, что происходит. См. тему 7.5 — Прогнозная аналитика и прогнозирование.

Компромиссы по стоимости. Каждое повышение доступности или ёмкости стоит денег. Правильный уровень зависит от стоимости сбоя и медлительности для бизнеса. Сделайте компромисс явным с теми, кто платит, и запишите его.

Как вписываются линзы. Гибкая практика рассматривает работу над надёжностью как часть бэклога и тестирует рано и часто. ИИ может обнаруживать аномалии и поддерживать прогнозирование под проверкой. Автоматизация масштабирует ресурсы и переключает на резерв. Аналитика даёт данные для всех трёх практик.

Лучшие практики

  1. Задавайте целевые показатели доступности из потребностей пользователей. Спросите, что происходит, когда услуга недоступна час, день, неделю. Задайте показатель и стоимость, которые соответствуют. Запишите определение «доступна» с точки зрения пользователя.
  2. Находите единые точки отказа. Нанесите на карту компоненты и зависимости важных услуг и спросите, что происходит при отказе каждого. Включите сертификаты, лицензии, людей и поставщиков.
  3. Проектируйте с расчётом на отказ. Используйте резервирование там, где затраты оправданны, делайте компоненты независимыми в отказе и решите, что можно отключить для защиты ядра.
  4. Проверяйте переключение и восстановление. Репетируйте переключения в безопасной среде и записывайте, сколько они занимают. Исправляйте то, что показывает репетиция.
  5. Знайте картину своего спроса. Собирайте данные нагрузки по часам, дням и сезонам и перечисляйте известные предстоящие события, такие как запуски и сроки. Планируйте под пики, а не средние.
  6. Оставляйте запас. Не загружайте важные компоненты почти до полной ёмкости. Задавайте пороги оповещений, предупреждающие вовремя.
  7. Тестируйте производительность раньше пользователей. Проводите нагрузочные и стресс-тесты на реалистичных сценариях перед крупными релизами и до известных пиков. Узнайте, где система ломается.
  8. Прогнозируйте и проверяйте. Делайте прогноз с допущениями, регулярно сверяйте с фактом и корректируйте. Делитесь диапазонами, а не единичными числами.
  9. Следите за хвостом. Сообщайте процентили задержки и частоту ошибок и исследуйте самые медленные запросы. Средние скрывают опыт невезучих пользователей.
  10. Взвешивайте стоимость и риск открыто. Показывайте владельцам стоимость каждого уровня доступности и ёмкости и записывайте решение и того, кто его принял.

Вопросы для обсуждения с командой

Что потеряли бы наши пользователи, если бы услуга была недоступна час, и соответствует ли наш показатель? Вопрос связывает показатели с влиянием. Ожидайте, что разные пользователи ответят по-разному. Попросите реальные примеры. В продолжение запишите показатель со стоимостью и сверьте с клиентом.

Каковы наши единые точки отказа, включая те, что не являются машинами? Нарисуйте зависимости одной критической услуги. Ожидайте сюрпризов: сертификат, который никто не отслеживает, единственный инженер, поставщик без резерва. В продолжение выберите одну для сокращения.

Когда мы в последний раз проверяли переключение на резерв и что произошло? Спросите дату и исход. Ожидайте «никогда» или «в тестовой среде сработало». В продолжение запланируйте репетицию с заявленным временем восстановления.

Какой самый загруженный час года для этой услуги и готовы ли мы к нему? Подумайте о сроках, запусках и распродажах. Спросите, что произошло в прошлый раз. В продолжение запланируйте нагрузочный тест к следующему пику.

Насколько точны были наши три последних прогноза ёмкости? Вопрос проверяет обучение. Ожидайте, что никто не проверял. Сравните прогнозы с фактом. В продолжение договоритесь о цикле пересмотра и записи допущений.

Как ИИ мог бы помочь прогнозировать спрос или рано обнаруживать проблемы и как мы узнали бы, что он ошибся? ИИ может находить закономерности в телеметрии. Он также может подгонять шум. Спросите, кто им владеет и с чем его будут сравнивать. В продолжение запустите прогноз ИИ параллельно с существующим методом на квартал.

На практике: пример управления услугами

Национальное агентство студенческих кредитов ведёт портал подачи заявок. Большую часть года он обслуживает несколько тысяч пользователей в день. В последние два дня перед ежегодным крайним сроком подачи заявок — более чем в сто раз больше. Два года назад он упал в последний вечер; в прошлом году выдержал благодаря аварийному масштабированию и ночи сверхурочной работы.

Владелец услуги начинает в январе, задолго до следующего срока. Она просит данные о трафике за последние три года по часам и находит устойчивую форму: медленный рост в последнюю неделю, резкий рост в последний день и пик в последние три часа. Она просит команду выявить единые точки отказа. Они обнаруживают, что портал зависит от службы проверки личности поставщика с фиксированным лимитом частоты, который ограничил бы пропускную способность примерно половиной ожидаемого пика.

Команда делает три вещи. Она договаривается с поставщиком о более высоком лимите и получает временное повышение на последнюю неделю. Она проводит нагрузочные тесты в марте и июне по схеме прошлого года плюс 30 процентов и находит, что узким местом становится база данных примерно на 70 процентах ожидаемого пика, что исправляет добавлением реплики для чтения и кэшированием нескольких дорогих запросов. И она готовит деградированный режим: в последний день несущественные функции, такие как калькулятор сбережений, отключаются, если нагрузка превышает порог.

В день срока портал выдерживает пик. Служба проверки личности замедляется в самый загруженный час, но не отказывает, а деградированный режим включается один раз на 40 минут. Что изменилось: нет сбоя и нет кризиса сверхурочной работы. Что остаётся трудным: лимит поставщика — договорный вопрос, который сбрасывается каждый год; прогноз роста на 30 процентов был допущением, а фактический рост составил 22 процента, так что команда могла потратить лишнее; и никто не проверял полный отказ региона, который всё равно остановил бы услугу. Владелец записывает это в план следующего года.

Четыре перспективы

Команды продукта и поставки

Проектируйте с расчётом на отказ и нагрузку: делайте компоненты независимыми, тестируйте производительность по ходу создания и знайте свои пределы. Включайте деградированные режимы и ограничения частоты в проект.

Команды услуг и эксплуатации

Знайте картину спроса и запас ёмкости. Репетируйте переключение, следите за медленным хвостом и рано предупреждайте о тенденциях. Держите карту зависимостей актуальной.

Руководство и управление

Определяйте уровни доступности и ёмкости с учётом стоимости и риска и просите свидетельства за ними. Финансируйте тестирование и репетиции, а не только оборудование. Помните об известных пиках.

Клиенты и пользователи

Сообщайте поставщику о ваших самых загруженных периодах и о том, чего стоит вам сбой. Спросите, какой уровень доступности запланирован и что происходит при его нарушении.

Agile, ИИ, автоматизация и аналитика

Agile

Включайте работу над надёжностью и производительностью в бэклог, тестируйте рано и часто в конвейере и учитесь на каждом инциденте и пике. Предостережение: откладывание надёжности «на потом» накапливает долг, всплывающий в худший момент.

ИИ

ИИ может обнаруживать аномалии, прогнозировать спрос по истории и событиям и предлагать действия по масштабированию, с владельцами и решениями человека по стоимости и риску. Предостережение: модель, обученная на обычных днях, может не справиться с беспрецедентными событиями; сравнивайте её с простыми базовыми линиями и оставляйте ответственного человека. См. тему 5.2 — AIOps.

Автоматизация

Автоматизируйте масштабирование, переключение, проверки состояния и нагрузочные тесты в конвейере, с пределами и журналами. Предостережение: автомасштабирование может раздуть затраты или скрыть неисправный релиз; задайте бюджеты и оповещения и проверяйте правила масштабирования. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.

Аналитика

Собирайте спрос, использование, процентили задержки, частоту ошибок и точность прогнозов. Предостережение: целевые показатели использования можно подтасовать перемещением нагрузки, а средние скрывают медленный хвост; сверяйте с данными об опыте пользователей. См. тему 7.5 — Прогнозная аналитика и прогнозирование и книгу Service Management Metrics.

Типичные виды сбоев

  • Показатели по привычке. «Пять девяток» обещаются без причины. Задавайте показатели из потребностей пользователей и стоимости.
  • Скрытые единые точки отказа. Сертификат или человек останавливает всё. Широко картируйте зависимости.
  • Непроверенное переключение. Не срабатывает, когда нужно. Регулярно репетируйте.
  • Планирование по средним. Пики подавляют систему. Планируйте под известные пики и оставляйте запас.
  • Прогнозы никогда не проверяются. Ошибки повторяются. Сравнивайте предсказания с фактом.
  • Автомасштабирование как панацея. Затраты и узкие места остаются. Проверяйте пределы и задавайте бюджеты.
  • Только средние. Медленный хвост игнорируется. Сообщайте процентили.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Доступность Реактивная Показатели для ключевых услуг Показатели, резервирование и проверенное переключение Доступность измеряется относительно опыта пользователей Доступность проектируется и управляется по услугам и поставщикам
Ёмкость Добавляется, когда заканчивается Базовый мониторинг Картина спроса известна, прогноз с допущениями Точность прогноза пересматривается Ёмкость планируется и корректируется автоматически под надзором
Производительность Только жалобы Некоторые показатели Показатели в процентилях и нагрузочные тесты перед релизами Тенденции и регрессии производительности отслеживаются Производительность проектируется на протяжении жизненного цикла
Осведомлённость о стоимости Неизвестна Известна приблизительно Компромиссы документированы с владельцами Стоимость и риск регулярно пересматриваются Стоимость, риск и надёжность оптимизируются вместе

Контрольный список

  • Показатели доступности основаны на потребностях пользователей и стоимости, с чётким определением.
  • Единые точки отказа важных услуг нанесены на карту и отслеживаются.
  • Переключение на резерв отрепетировано и замерено по времени.
  • Мы знаем картину нашего спроса и предстоящие пики.
  • Мы проводим нагрузочные тесты перед крупными релизами и известными пиками.
  • Прогнозы записывают допущения и сверяются с фактом.
  • Мы сообщаем процентили задержки и частоту ошибок.
  • Компромиссы по стоимости и риску записаны с владельцами.

Запросы к ИИ

Найдите единые точки отказа.

Here is a description of how [service] works and what it depends on: [paste].
List each component and dependency, and for each one say what the description implies would happen if it failed, or "not stated". Mark candidate single points of failure and questions to ask. Do not assume redundancy that is not described.
List what you are unsure of.

Резюмируйте картины спроса.

Here is hourly request data for [period]: [paste summary or data].
Describe the daily, weekly, and seasonal patterns you can see, give the peak-to-average ratio, and list dates that look unusual. Do not forecast.
List what you are unsure of.

Подготовьте черновик плана нагрузочного теста.

Our service: [describe]. Expected peak: [number and pattern]. Known limits or concerns: [list].
Draft a test plan with scenarios, load levels, what to measure, what would make us stop, and risks of testing. Specify that it is run only in a safe environment.
List what you are unsure of.

ИИ-навыки

  • capacity-planning: используйте, чтобы прогнозировать спрос и планировать ресурсы.
  • load-testing: используйте, чтобы проектировать и проводить нагрузочные тесты.
  • performance-testing: используйте, чтобы исследовать скорость и отзывчивость.
  • demand-forecasting: используйте, чтобы оценивать будущий спрос с заявленной неопределённостью.
  • chaos-testing: используйте, чтобы проверять, как распространяются сбои.

Ключевые источники

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016): главы об обработке перегрузки и балансировке нагрузки, свободно на sre.google.
  • PeopleCert, ITIL certification pages: описание практик доступности и ёмкости от владельца.
  • Wikipedia, "High availability" и "Capacity planning": обзоры основных идей.
  • Wikipedia, "Queueing theory": математика ожидания и насыщения.

Источники

  1. Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
  2. High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
  3. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  4. Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
  5. Mean time between failures — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_between_failures
  6. Single point of failure — Wikipedia — https://en.wikipedia.org/wiki/Single_point_of_failure
  7. Redundancy (engineering) — Wikipedia — https://en.wikipedia.org/wiki/Redundancy_(engineering)
  8. Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
  9. Queueing theory — Wikipedia — https://en.wikipedia.org/wiki/Queueing_theory
  10. Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
  11. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/