Управление уровнем услуг
Управление уровнем услуг задаёт чёткие измеримые целевые показатели услуг вместе с теми, кто на них полагается, отслеживает результативность относительно этих показателей и использует разрывы для улучшения; его современные формы добавляют к традиционному соглашению об уровне услуг соглашения об уровне опыта и инженерные цели.
Почему это важно
У поставщиков и клиентов разные представления о том, что означает «хорошая услуга». Поставщик думает о времени бесперебойной работы и закрытии обращений. Клиент думает о том, смог ли он закончить свою работу. Без согласованного определения оба могут быть искренни и оба недовольны: поставщик указывает на отчёт, показывающий, что все целевые показатели выполнены, а клиент — на неделю раздражения.
Управление уровнем услуг закрывает этот разрыв. Оно начинает разговор с клиентом о том, что ему нужно, превращает ответ в измеримые целевые показатели и сообщает о них так, чтобы клиент мог проверить. Разговор важнее документа. Соглашение об уровне услуг (SLA), написанное один раз и подшитое, даёт ложное спокойствие; регулярно пересматриваемое, с реальными данными и честным обсуждением того, что не работает, оно строит доверие.
Современная практика сталкивается и с критикой: целевые показатели, заданные по техническим измерениям, могут быть все зелёными, пока пользователи недовольны. В ответ организации добавляют показатели опыта, такие как соглашения об уровне опыта (XLA), а инженерные команды задают целевые уровни услуг (SLO) на основе того, что замечают пользователи. Эта тема объясняет лексику, как задавать целевые показатели и как сохранять их полезными. Она связана с доступностью и ёмкостью (тема 3.11 — Доступность, емкость и производительность), управлением поставщиками (тема 3.14 — Управление поставщиками) и измерением (тема 7.3 — Измерение и отчётность).
Основные понятия
Соглашение об уровне услуг (SLA). В ITIL 4 — документированное соглашение между поставщиком услуг и клиентом, определяющее и требуемые услуги, и ожидаемый уровень обслуживания. Общие части описывает статья Wikipedia о соглашениях об уровне услуг: описание услуги, целевые показатели, измерение, отчётность и что происходит при невыполнении показателей. SLA бывают внутренними, между поставщиком и его собственной организацией, или внешними, в коммерческом договоре.
Целевой показатель уровня услуги. Конкретное измеримое обязательство, например «99,9 процента запросов завершаются в течение двух секунд в календарном месяце» или «на инциденты первого приоритета отвечают в течение 15 минут». Каждый показатель определяет, что измеряется, как, за какой период и при каких условиях.
Целевой уровень услуги (SLO). Целевое значение индикатора уровня услуги (SLI), чаще всего используемое инженерными командами в рамках практики, описанной в теме 2.6 — Инженерия надежности сайтов. SLO обычно внутренние и строже внешнего SLA, чтобы команда замечала неприятности до нарушения. Целевые уровни услуг описывает Wikipedia.
Соглашение об операционном уровне (OLA). Соглашение между внутренними командами, поддерживающее предоставление услуги клиенту. Например, сетевая команда может согласовать время отклика с сервисной командой, поддерживающей внешний SLA. Соглашения об операционном уровне описывает Wikipedia.
Опорный контракт. Соглашение с внешним поставщиком, поддерживающее предоставление услуги. Он должен быть согласован с SLA, который поддерживает. Если ваш SLA обещает четыре часа, а контракт поставщика допускает восемь, разрыв — ваш.
Соглашение об уровне опыта (XLA). Более новая идея: соглашения, сосредоточенные на том, как пользователи переживают услугу, например насколько она помогла им достичь целей, вместо чисто технических показателей. XLA часто используют опросы, показатели настроений и наблюдения в дополнение к системным данным. Единого стандартного определения нет, поэтому запишите, что вы имеете в виду. См. тему 7.7 — Аналитика опыта и настроений.
Что делает показатель хорошим. Он значим для клиента, измерим, основан на свидетельствах того, что достижимо, и согласован с теми, кто от него зависит. Он указывает метод измерения и исключения, например плановое обслуживание. Он не обещает того, чем поставщик не может управлять.
Средние и процентили. Средние скрывают худшие случаи. Показатель «среднее время отклика менее одной секунды» может быть выполнен, даже если один запрос из десяти занимает десять секунд. Процентили, описанные в Wikipedia, дают лучшую картину: «95 процентов запросов быстрее двух секунд». Выбирайте процентиль под опыт, о котором вы заботитесь.
Доступность и время бесперебойной работы. Распространённый показатель, выражаемый как процент времени, когда услуга пригодна для использования. Расчёт описывает статья Wikipedia о доступности. Он зависит от того, что считается «пригодным»: услуга может работать и быть непригодной. Определяйте с точки зрения пользователя.
Штрафы и кредиты. Многие внешние SLA включают средства защиты, такие как кредиты на услуги, если поставщик не выполняет показатель. Это сигнал серьёзности, но плохая замена услуги: небольшой кредит не помогает клиенту, чей бизнес пострадал. Связанные идеи договорного права описывает статья Wikipedia о заранее оцененных убытках. Проверьте, как работают средства защиты в ваших договорах, и при необходимости обратитесь за юридической консультацией; это руководство её не даёт.
Отчётность. Регулярные отчёты показывают результаты относительно показателей, с объяснениями пропусков и действиями. Отчёты — для разговора, а не только для записи. Включайте примеры и комментарии пользователей наряду с числами.
Пересмотр. Пересматривайте SLA и показатели с клиентами через согласованные интервалы, корректируя их при изменении потребностей или технологий. Выводите показатели, которыми никто не пользуется.
Закон Гудхарта. «Когда мера становится целью, она перестаёт быть хорошей мерой». Это наблюдение, приписываемое экономисту Чарльзу Гудхарту, описывает Wikipedia. Люди подстраивают поведение под число, а не под назначение. Уровни услуг провоцируют это: досрочное закрытие обращений, переклассификация инцидентов, остановка часов. Защищайтесь выборками, парными показателями и обратной связью клиентов. См. книгу Service Management Metrics.
Как вписываются линзы. Управление уровнем услуг — место, где гибкое улучшение встречает соглашение: часто пересматривайте показатели и корректируйте. ИИ может помогать анализировать данные о результативности и готовить черновики отчётов под проверкой. Автоматизация измеряет и сообщает последовательно. Аналитика показывает связь между техническими показателями и опытом пользователей.
Лучшие практики
- Начинайте с того, что нужно клиенту. Спросите, чему нельзя отказывать, и какую медлительность он стерпит. Основывайте показатели на этих ответах, а не на том, что легко измерить.
- Держите число показателей небольшим. Горстку значимых показателей на услугу легче понять и вести, чем десятки. Отбрасывайте те, которыми никто не пользуется.
- Пишите каждый показатель точно. Укажите, что измеряется, откуда, за какой период, что исключено и как рассчитывается результат. Проверьте определение на данных недавнего месяца.
- Используйте процентили для отклика и производительности. Сообщайте долю случаев, удовлетворяющих показателю, и показывайте худшие случаи, а не только среднее.
- Задавайте внутренние цели строже соглашений. Дайте команде пространство действовать до нарушения. Согласуйте внутренние и внешние показатели между собой и с договорами поставщиков.
- Добавляйте показатели опыта. Наряду с техническими показателями спрашивайте пользователей, как услуга им помогла, короткими опросами и наблюдением. Проверяйте на выборках реальных случаев, что упускают числа.
- Сообщайте с контекстом. Представляйте результаты на регулярной встрече с клиентом, честно объясняйте пропуски и договаривайтесь о действиях. Включайте несколько комментариев пользователей.
- Защищайтесь от подтасовки. Просматривайте выборки обращений и инцидентов за числами, смотрите на доли повторного открытия и сочетайте показатели скорости с показателями качества.
- Регулярно пересматривайте соглашения. Встречайтесь хотя бы раз в год и при значительных изменениях, чтобы проверить, что показатели по-прежнему соответствуют потребности и стоимости. Меняйте показатели открыто.
- Согласуйте поставщиков. Проверьте, что соглашение каждого поставщика поддерживает показатели, которые вы обещаете, и договоритесь, как их результативность сообщается вам. См. тему 3.14 — Управление поставщиками.
Вопросы для обсуждения с командой
Если бы мы выполнили все показатели в прошлом месяце, сказали бы наши клиенты, что услуга хороша? Вопрос проверяет, отражают ли показатели опыт. Ожидайте несоответствия где-то. Попросите недавнюю жалобу, которую не поймал ни один показатель. В продолжение выберите один новый показатель опыта.
Какие из наших показателей никто не читает и о каких все спорят? Вопрос находит бесполезные и спорные показатели. Спросите, кто использует каждый в решениях. В продолжение выведите один и уточните один.
Что мы обещаем клиентам, что зависит от поставщика или другой команды, и что они пообещали нам? Вопрос проверяет согласованность между соглашениями. Сопоставьте числа рядом. Ожидайте разрывов. В продолжение выберите один разрыв для закрытия — пересмотром договорённости или изменением нашего обещания.
Как наши показатели могли бы быть выполнены без пользы для пользователя? Представьте подтасовку: досрочное закрытие обращений, остановку часов, сужение определений. Спросите, происходит ли что-то из этого. В продолжение выберите выборочную проверку для одного показателя.
Кто присутствует на наших обзорах услуг и что меняется после них? Встречи без действий — ритуал. Попросите последний список действий. В продолжение договоритесь, что каждый обзор заканчивается не более чем тремя действиями с владельцами.
Где ИИ мог бы помочь анализировать данные об уровнях услуг или готовить отчёты и что должен проверить человек? ИИ может резюмировать тенденции и готовить объяснения. Он также может называть причины без свидетельств. Спросите, кто проверяет черновик по данным. В продолжение опробуйте резюме, подготовленные ИИ, для внутреннего использования с утверждением человеком.
На практике: пример управления услугами
ИТ-отдел региональной водоканальной компании поддерживает 800 офисных сотрудников и 300 полевых бригад. SLA для системы заказ-нарядов обещает доступность 99,5 процента и отклик за четыре часа на инциденты первого приоритета. Отчёты два года показывают, что все показатели выполнены. Тем не менее полевые бригады называют систему «ненадёжной», а руководитель эксплуатации требует лучшего SLA.
Руководитель услуг встречается с бригадирами и спрашивает, что значит «ненадёжная». Они говорят, что система работает, но очень медленно рано утром, когда бригады начинают работу, и что она не синхронизируется при плохом покрытии мобильной связи. Ни то ни другое не фиксируется: доступность измеряется проверкой из центра обработки данных с интервалом пять минут, а показатели отклика применяются только к обращениям, которые поднимают бригады, чего они делают редко, предполагая, что ничего не сделают.
Руководитель предлагает изменения. Команда добавляет SLI на основе реальных транзакций пользователей: 95 процентов сохранений заказ-нарядов завершаются в течение трёх секунд, измеряемых отдельно для периода с 6 до 8 утра. Она добавляет короткий ежемесячный пульс-опрос для бригад с двумя вопросами о том, помогла ли система закончить работу и что мешало. И она задаёт внутренний SLO строже SLA, чтобы команда видела утреннюю медлительность раньше бригад. Руководитель эксплуатации соглашается пересматривать показатели с представителями бригад ежеквартально.
Что изменилось: данные первого месяца ясно показывают утреннюю медлительность, а настройка базы данных устраняет значительную её часть. Что остаётся трудным: сбои синхронизации зависят от мобильного покрытия, которым компания не управляет; доля ответивших на опрос около трети; а новый SLI не включён в договор, поэтому отчёты исполнительной команде теперь содержат два набора чисел. Руководитель сохраняет оба и предлагает включить новые показатели в SLA при следующем продлении.
Четыре перспективы
Команды продукта и поставки
Определяйте индикаторы и цели вместе с теми, кто эксплуатирует услугу и пользуется ею, и встраивайте измерения в продукт. Считайте невыполненный показатель поводом посмотреть на проект, а не только на эксплуатацию.
Команды услуг и эксплуатации
Знайте показатели и как они измеряются. Следите за подтасовкой, сообщайте честно и приносите на обзоры примеры того, что упускают числа. Используйте внутренние цели, чтобы действовать рано.
Руководство и управление
Спрашивайте, отражают ли показатели то, что нужно клиентам, и согласуются ли они с договорами поставщиков. Смотрите на распределения и выборки, а не только на заголовочные проценты. Избегайте поощрения или наказания команд по отдельным числам.
Клиенты и пользователи
Скажите, что важнее всего для вас и что вы можете стерпеть. Участвуйте в обзорах. Если все отчёты зелёные, а вы недовольны, скажите об этом поставщику и приведите примеры.
Agile, ИИ, автоматизация и аналитика
Agile
Регулярно пересматривайте и корректируйте показатели с клиентами небольшими шагами и используйте пропуски как обратную связь для улучшения. Предостережение: показатели, меняющиеся каждый месяц, сбивают всех с толку; сохраняйте стабильное ядро и меняйте его осознанно.
ИИ
ИИ может анализировать данные о результативности, готовить черновики отчётов и предлагать причины пропусков, а за выводы отвечает человек. Назовите владельца каждого применения. Предостережение: объяснения пропусков от ИИ могут звучать авторитетно без свидетельств; просите его ссылаться на использованные данные. См. тему 5.1 — ИИ в управлении услугами.
Автоматизация
Автоматизируйте измерение по реальным транзакциям, отчётность и оповещения о риске нарушения с прозрачным расчётом. Предостережение: автоматическое измерение может скрывать ошибки определения; регулярно проверяйте выборки сырых данных и расчёта. См. тему 6.2 — Автоматизация рабочих процессов и оркестрация.
Аналитика
Сочетайте технические показатели, такие как процентили времени отклика, с данными об опыте, такими как результаты опросов и жалобы. Предостережение: опросы приходят от тех, кто отвечает, а любой показатель можно подтасовать, как только он становится целью; используйте несколько источников и выборки случаев. См. тему 7.7 — Аналитика опыта и настроений и книгу Service Management Metrics.
Типичные виды сбоев
- Всё зелёное, клиенты недовольны. Показатели упускают опыт. Добавьте индикаторы на основе пользователей и выборки.
- Слишком много показателей. Никто их не читает. Держите немного важных.
- Только средние. Худшие случаи скрыты. Используйте процентили и показывайте выбросы.
- Подтасовка. Часы остановлены, обращения закрыты рано. Делайте выборки и сочетайте показатели.
- Несогласованные соглашения. Обещания превышают то, что поставляют поставщики. Согласуйте внутренние и внешние показатели.
- SLA как оружие. Встречи спорят о кредитах. Сосредоточьтесь на улучшении и общем понимании.
- Никогда не пересматривается. Показатели стареют. Пересматривайте через согласованные интервалы.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Показатели | Технические, не пересматриваются | Некоторые показатели на основе клиентов | Показатели заданы с клиентами и определены точно | Показатели пересматриваются по данным и опыту | Показатели координируются по услугам и партнёрам |
| Измерение | Ручное | Некоторая автоматизация | Измеряется по транзакциям пользователей, где возможно | Измерение проверяется и выбирается выборочно | Измерение автоматизировано и прозрачно по всей цепочке |
| Опыт | Не измеряется | Случайные опросы | Показатели опыта наряду с техническими | Опыт связан с улучшениями | Опыт определяет соглашения по услугам |
| Пересмотр | Редко | Ежегодно | Регулярные пересмотры с действиями | Пересмотры отслеживаются по результатам | Пересмотры встроены в планирование и поставщиков |
Контрольный список
- Показатели основаны на потребностях клиентов и согласованы с ними.
- Каждый показатель точно определён и проверен на реальных данных.
- Мы используем процентили для показателей отклика и производительности.
- Внутренние цели строже внешних соглашений.
- Договоры с поставщиками поддерживают обещаемые нами показатели.
- Мы измеряем опыт наряду с технической результативностью.
- Мы выборочно проверяем случаи за числами на предмет подтасовки.
- Мы пересматриваем соглашения хотя бы раз в год и после крупных изменений.
Запросы к ИИ
Проверьте определение показателя.
Here is a service level target as written: [paste]. Here is a month of raw data: [paste summary].
List what is unclear in the wording, compute the result in two different reasonable ways showing your steps, and note where the answers differ. Do not recommend a new target.
List what you are unsure of.
Найдите, что упускают числа.
Our targets: [list]. Here are user complaints from the last quarter: [paste, personal data removed].
List complaints that no target would have detected, quote each briefly, and suggest one possible measure for each. Do not claim the measures would work.
List what you are unsure of.
Подготовьте обзор услуги.
Here are this month's results against targets: [paste]. Here are notable incidents and user comments: [paste].
Draft an agenda and five questions to discuss with the customer, including one about what the numbers do not show. Do not explain causes that are not in the material.
List what you are unsure of.
ИИ-навыки
- service-level-agreement: используйте, чтобы составлять и пересматривать соглашения и показатели.
- key-risk-indicators: используйте, чтобы выбирать индикаторы, предупреждающие заранее.
- survey-design: используйте, чтобы разработать показатели опыта.
- vendor-management: используйте, чтобы согласовать соглашения поставщиков с вашими показателями.
Ключевые источники
- PeopleCert, ITIL certification pages: описание практики управления уровнем услуг от владельца.
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), глава о целевых уровнях услуг, свободно на sre.google.
- Wikipedia, "Service-level agreement" и "Service-level objective": обзоры терминов.
- Wikipedia, "Goodhart's law": предостережение об использовании показателей как целей.
Источники
- Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
- Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
- Operational-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Operational-level_agreement
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Liquidated damages — Wikipedia — https://en.wikipedia.org/wiki/Liquidated_damages
- Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/