Измерение и отчётность
Хорошее измерение начинается с целей, использует немного точно определённых показателей, сочетает каждый показатель с ограничителем против подтасовки, показывает распределения и тенденции и сообщает тем, кто может действовать; определения живут в сопутствующей книге Service Management Metrics, а эта тема — о том, как ими хорошо пользоваться.
Почему это важно
Каждый в управлении услугами видел отчёт, который был точен и бесполезен. Страницы цифр, сводка светофором и примечание, что все целевые показатели выполнены. Затем жалоба клиента на неделю плохого обслуживания и руководитель, спрашивающий, как такое возможно. Отчёт измерял то, что легко посчитать, а цель стала означать результат.
Противоположный сбой так же реален. Команда не доверяет числам, потому что ими несправедливо судили людей, и отказывается измерять вообще. Тогда улучшение зависит от мнений, и решает самый громкий голос.
Выход — относиться к измерению как к ремеслу с целью: узнать, дают ли услуги результаты и где улучшать. Показатели выбираются из целей, определяются так, чтобы двое считали их одинаково, читаются как распределения и тенденции и проверяются на то, как они могут вводить в заблуждение. Эта тема описывает это ремесло в общих чертах. Она не определяет отдельные показатели: сопутствующая книга Service Management Metrics даёт для каждого определение, вектор подтасовки и ограничитель, и именно туда нужно идти за самими числами. Эта тема связана с аналитикой (тема 7.1 — Аналитика для управления услугами), основами данных (тема 7.2 — Основы данных и управление данными), уровнями услуг (тема 3.7 — Управление уровнем услуг) и непрерывным улучшением (тема 3.15 — Непрерывное улучшение).
Основные понятия
Мера, метрика, индикатор. Мера — наблюдаемая величина, например число инцидентов. Метрика — мера, определённая для цели, с расчётом, источником и периодом. Индикатор сигнализирует о состоянии чего-то, что трудно наблюдать прямо. Показатели результативности вообще, часто сокращаемые до KPI (ключевых показателей эффективности), описывает Wikipedia. Термины используются свободно; определяйте, что вы имеете в виду.
Сначала цели. Мера полезна только относительно цели. Запишите цель простыми словами («клиенты могут быстро получить помощь, когда что-то ломается»), затем спросите, какие свидетельства показали бы, достигается ли она. Подходы, такие как сбалансированная система показателей, связывающая меры с целями с нескольких точек зрения, и цели и ключевые результаты (OKR), объединяющие цель с измеримыми результатами, описывает Wikipedia. Какой бы вы ни использовали, считайте их помощью для разговора.
Результаты, выходы и активность. Результаты — изменения для клиентов и организации; выходы — то, что производит услуга; активность — усилие. Измерение только активности, например закрытых обращений, мало говорит о том, лучше ли кому-то стало. Включайте показатели результатов и опыта. См. тему 1.1 — Управление услугами.
Опережающие и запаздывающие индикаторы. Запаздывающие индикаторы сообщают результаты постфактум, например удовлетворённость клиентов. Опережающие сигнализируют о том, что, вероятно, будет, например растущий возраст бэклога. Оба описывает Wikipedia в статье об экономических индикаторах. Сбалансированный набор включает оба.
Точные определения. Двое должны уметь рассчитать меру и получить один и тот же ответ. Определите совокупность, события начала и конца, исключения, период и источник данных. «Время решения» требует определения, когда часы запускаются, останавливаются и ставятся на паузу. Записывайте изменения определений с датами. См. тему 7.2 — Основы данных и управление данными.
Средние, медианы и процентили. Среднее легко искажается несколькими крайними значениями. Медианы и процентили, описанные в Wikipedia, показывают типичный случай и хвост, который переживают невезучие пользователи. Для времени отклика и решения сообщайте процентили, например медиану и 90-й процентиль.
Распределения и тенденции. Единое число за месяц скрывает разброс. Показывайте распределение, тенденцию за несколько периодов и диапазон обычной изменчивости. Контрольные карты и статистическое управление процессами, отделяющие нормальную изменчивость от сигналов, что что-то изменилось, описывает Wikipedia. Не реагируйте на каждую рябь.
Цели и пороги. Целевой показатель — уровень, к которому вы стремитесь; порог — уровень, запускающий действие. Цели должны исходить из потребности и свидетельств достижимого. Цель, заданная без свидетельств, приглашает подтасовку или отчаяние.
Закон Гудхарта и подтасовка. Когда мера становится целью, она перестаёт быть хорошей мерой. Закон Гудхарта и родственное наблюдение социолога Дональда Кэмпбелла описывает Wikipedia. Люди приспосабливаются к стимулу. Обращения закрывают рано, часы ставят на паузу, категории меняют, трудных случаев избегают. Примеры непреднамеренных эффектов, иногда называемых эффектом кобры, даёт статья Wikipedia о извращённых стимулах. У каждой метрики есть вектор подтасовки, и книга Service Management Metrics называет его вместе с ограничителем.
Ограничители. Вторая мера или проверка, защищающая от подтасовки первой. Например, сочетайте скорость с качеством (время решения с долей повторных открытий), объём с результатом (закрытые обращения с удовлетворённостью пользователей) и автоматические измерения с выборочным просмотром реальных случаев. Без ограничителей мера дрейфует.
Измерение людей. Показатели результативности отдельных людей, такие как обращения на оператора, особенно подвержены подтасовке и несправедливости, поскольку работа у людей разная, а система определяет, чего может достичь любой человек. Это руководство и сопутствующая книга советуют не ранжировать отдельных людей. Используйте показатели уровня команд, чтобы понимать систему.
Сравнение с эталоном (бенчмаркинг). Сравнение с другими, как описывает Wikipedia, может помочь задать ожидания. Сравнения допустимы, только когда совпадают определения, состав работы и контекст. Скептически относитесь к сравнениям, игнорирующим различия.
Отчётность. Отчёты существуют, чтобы информировать решения. Знайте аудиторию и решение. Хорошие отчёты излагают цель, показатели, тенденцию, объяснение и действие. Используйте визуальное оформление, делающее сообщение ясным. Визуализацию данных и информации и панели описывает Wikipedia. Меньше, но яснее лучше, чем много.
Показатели поставки. Исследовательские программы по поставке программного обеспечения, такие как программа DORA, используют четыре показателя, часто называемые четырьмя ключевыми метриками: частоту развёртываний, время выполнения изменений, долю неудачных изменений и время восстановления услуги. Это полезные вопросы к системе поставки. Они не являются оценками для ранжирования команд. См. тему 2.2 — Непрерывная поставка.
Показатели опыта. Опросы, оценки удовлетворённости и индекс потребительской лояльности (net promoter score), описанный в Wikipedia, спрашивают пользователей, что они думают. У них свои пределы, такие как то, кто отвечает и как сформулированы вопросы. См. тему 7.7 — Аналитика опыта и настроений.
Прозрачность и доверие. Люди доверяют показателям, которые понимают, помогали определять и видят справедливо используемыми. Делитесь определениями, данными и тем, как используются результаты. Прямо говорите, что показатели — для обучения.
Как вписываются линзы. Измерение — место, где аналитика встречает управление и улучшение. Гибкая практика использует несколько показателей, чтобы проверить, помогло ли изменение. ИИ может помогать с расчётом и черновиками под проверкой, а ему самому нужны показатели качества. Автоматизация производит измерения из инструментов.
Лучшие практики
- Начинайте с целей. Запишите, для чего услуга и как выглядит успех, затем выберите показатели, показывающие, движетесь ли вы к ней. Отбрасывайте показатели, не служащие никакой цели.
- Держите набор небольшим. Выберите несколько показателей на услугу, охватывающих результаты, поток, качество и опыт. Пересматривайте набор хотя бы ежегодно.
- Определяйте каждую метрику точно. Запишите определение, источник, расчёт, период, исключения, владельца и известные пределы. Используйте определения из книги Service Management Metrics как отправную точку.
- Назовите вектор подтасовки и добавьте ограничитель. Для каждой спросите, как её можно улучшить, не улучшая услугу, и сочетайте с проверкой. Регулярно проверяйте выборки реальных случаев.
- Показывайте распределения и тенденции. Сообщайте медианы и процентили, диапазон нормальной изменчивости и несколько периодов. Объясняйте изменения и отличайте сигнал от шума.
- Задавайте цели по свидетельствам. Основывайте их на истории, потребности и мощности и согласуйте с теми, кому их выполнять. Пересматривайте при изменении обстоятельств.
- Измеряйте системы, а не отдельных людей. Используйте показатели уровня команд и услуг, чтобы понимать систему. Не ранжируйте по ним людей.
- Сообщайте, чтобы решать. Для каждого отчёта назовите аудиторию и решение. Излагайте находку, уверенность и предлагаемое действие. Выводите отчёты, которыми никто не пользуется.
- Будьте открыты. Публикуйте определения и результаты для измеряемых и приглашайте возражения. Говорите людям, как данные будут и не будут использоваться.
- Пересматривайте и выводите. Проверяйте, изменил ли каждый показатель решение. Убирайте те, что нет, и исправляйте подтасованные.
Вопросы для обсуждения с командой
Какие из наших показателей можно выполнить, никого не сделав клиентом счастливее? Вопрос находит векторы подтасовки. Ожидайте нескольких простых примеров. В продолжение выберите один и договоритесь об ограничителе.
Какой цели служит каждый из наших регулярных показателей и кто принимает решение на его основе? Пройдитесь по отчёту. Ожидайте нескольких показателей без цели и без решения. В продолжение отбросьте один.
Как мы определяем «решено» и «время отклика» и менял ли кто-нибудь определение? Попросите письменные определения. Ожидайте разногласий. В продолжение напишите одно определение и запишите его историю.
Что говорят наши процентили, чего не говорят средние? Рассчитайте оба для одного показателя. Ожидайте длинного хвоста. В продолжение договоритесь сообщать для него процентили.
Как показатели используются здесь для оценки людей или команд и что это делает с поведением? Обсудите открыто. Ожидайте историй о подтасовке и страхе. В продолжение договоритесь, что данный показатель будет использоваться для обучения, и скажите об этом письменно.
Как ИИ мог бы помочь нам рассчитывать или объяснять показатели и как мы это проверим? ИИ может считать и составлять черновики комментариев. Он также может объяснить тенденцию выдуманной причиной. Спросите, кто проверяет. В продолжение повторите расчёт вручную и сравните.
На практике: пример управления услугами
ИТ-отдел региональной службы скорой помощи ежемесячно отчитывается перед советом по 24 показателям. Совет спрашивает, почему отчёт зелёный, а диспетчеры жалуются, что система компьютерной диспетчеризации тормозит в начале смены. Руководитель ИТ решает перестроить набор показателей вместе с теми, кто им пользуется.
Она начинает с целей, согласованных с руководителями диспетчеризации: диспетчеры могут открывать и обновлять вызов без задержки; неисправности исправляются быстро; изменения не нарушают работу. Она выбирает восемь показателей, каждый определён в одностраничной записи на основе сопутствующей книги Service Management Metrics. Для «времени транзакции диспетчера» определение указывает, что измеряется, откуда и что 95-й процентиль сообщается по часам суток. Старый показатель доступности, измеряемый пингом из центра обработки данных с интервалом пять минут, сохраняется, но не показывается совету отдельно.
Для каждого показателя команда пишет вектор подтасовки и ограничитель. «Инциденты, решённые в срок» сочетаются с долей повторных открытий и ежемесячной выборкой из 30 инцидентов, которую читает старший аналитик; команда признаёт, что быстрое закрытие инцидентов и их позднее повторное открытие польстило бы первому показателю. Отчёт совету показывает медианы и 95-е процентили за 12 месяцев с диапазоном нормальной изменчивости и краткой заметкой о том, что изменилось и что команда будет делать.
Первый отчёт показывает, что 95-й процентиль времени транзакции удваивается между 06:30 и 07:30, и совет финансирует исследование ёмкости. Вопрос об удовлетворённости, задаваемый ежемесячно 40 диспетчерам, добавляет взгляд на опыт. Руководитель ИТ также письменно заявляет, что ни один показатель не будет использоваться для ранжирования отдельных аналитиков.
Что изменилось: совет обсуждает реальную проблему, а команда перестаёт спорить об определениях. Что остаётся трудным: новый показатель транзакций зависит от поля журнала, которое двое вендоров записывают по-разному, поэтому данные приблизительны; доля ответивших на опрос низка в ночных сменах; а руководитель старшего звена всё ещё хочет единую оценку для совета. Руководитель ИТ сохраняет восемь показателей и показывает руководителю, как единая оценка скрыла бы утреннюю проблему.
Четыре перспективы
Команды продукта и поставки
Встраивайте измерение в продукт: события, тайминги и видимые пользователю индикаторы. Используйте показатели поставки, чтобы находить ограничения, а не сравнивать команды. Делитесь определениями с эксплуатацией.
Команды услуг и эксплуатации
Знайте, что и как измеряется, и сверяйте это с собственным ощущением услуги. Честно сообщайте о подтасовке и плохих определениях. Используйте показатели, чтобы видеть, где улучшать.
Руководство и управление
Просите цели, определения, распределения и ограничители, а не зелёную сводку. Не используйте показатели для ранжирования людей. Финансируйте работу с данными и будьте готовы услышать плохие новости.
Клиенты и пользователи
У вас должны спрашивать, что важно, вы должны видеть показатели, отражающие ваш опыт, и слышать, что меняется благодаря им. Сообщайте поставщику, когда числа не соответствуют тому, что вы видите.
Agile, ИИ, автоматизация и аналитика
Agile
Используйте несколько показателей, чтобы проверять каждое изменение, с ожиданием и датой, и рассматривайте с заинтересованными сторонами. Выводите показатели, которые больше не информируют. Предостережение: не позволяйте показателям становиться целями для команд; они будут оптимизировать число.
ИИ
ИИ может помогать считать, строить графики и составлять черновики комментариев, а самим системам ИИ нужны показатели точности, ошибок и стоимости. Предостережение: объяснение ИИ, почему число изменилось, может быть выдуманным; требуйте от него указывать на данные и проверяйте. См. тему 5.1 — ИИ в управлении услугами.
Автоматизация
Автоматизируйте сбор и расчёт, с документированными определениями и журналом изменений. Предостережение: автоматический отчёт может идти годами после того, как его определение молча сломалось; регулярно сверяйте с сырыми данными. См. тему 6.1 — Стратегия автоматизации.
Аналитика
Используйте распределения, методы тенденций и изменчивости и выборки реальных случаев, чтобы проверять метрики. Предостережение: любую меру можно подтасовать, как только она становится важной; сочетайте показатели и продолжайте читать случаи. См. книгу Service Management Metrics и тему 7.1 — Аналитика для управления услугами.
Типичные виды сбоев
- Зелёные отчёты, недовольные клиенты. Показатели упускают результаты. Добавьте показатели результатов и опыта и выборки.
- Слишком много показателей. Никто не может ими пользоваться. Держите немного, связанных с целями.
- Расплывчатые определения. Числа нельзя сравнивать. Определяйте точно и записывайте изменения.
- Средние. Хвост скрыт. Сообщайте процентили и распределения.
- Цели без свидетельств. Следуют подтасовка или отчаяние. Основывайте цели на данных и согласуйте их.
- Ранжирование отдельных людей. Доверие рушится, а числа подтасовываются. Измеряйте системы и команды.
- Нет ограничителей. Показатели дрейфуют. Сочетайте каждый с проверкой и проверяйте выборки случаев.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Цели и выбор | Всё, что легко посчитать | Некоторые показатели, связанные с целями | Небольшой набор, связанный с целями, для каждой услуги | Набор пересматривается относительно решений | Показатели согласованы по услугам и партнёрам |
| Определение и качество | Неформально | Некоторые определения | Точные определения с владельцами и историей изменений | Определения проверяются по сырым данным | Определения общие и автоматизированы по командам |
| Защита от подтасовки | Нет | Осведомлённость | Вектор подтасовки и ограничитель для каждой метрики | Выборки реальных случаев рассматриваются | Защиты встроены в отчётность и культуру |
| Отчётность и использование | Статические отчёты | Панели | Отчёты для названных решений с тенденциями и распределениями | Использование и влияние отслеживаются | Отчётность интегрирована с планированием и улучшением |
Контрольный список
- Каждый показатель служит записанной цели.
- У каждой метрики есть точное определение, владелец, источник и история изменений.
- Мы сообщаем медианы и процентили с тенденциями.
- У каждой метрики есть названный вектор подтасовки и ограничитель.
- Мы включаем показатели результатов и опыта.
- Мы не ранжируем отдельных людей по показателям.
- Каждый отчёт называет аудиторию и решение, которое он поддерживает.
- Мы пересматриваем и выводим показатели, больше не меняющие решения.
Запросы к ИИ
Напишите определение метрики для проверки.
Metric name: [name]. What we want to know: [goal in plain words]. Data we have: [fields and source].
Draft a definition with: purpose, population, start and end events, exclusions, calculation, period, source, owner (leave blank), and known limits. Then list two ways the metric could be gamed and one guardrail for each. Mark any assumption.
List what you are unsure of.
Проверьте отчёт на частые проблемы.
Here is a monthly report with its measures and a short commentary: [paste].
List measures without a stated goal, uses of averages where percentiles would help, claims of cause not supported by the data, comparisons that may not be like for like, and anything that could be gamed. Quote the text for each. Do not rewrite the report.
List what you are unsure of.
Объясните изменение показателя.
The measure [name] changed from [value] to [value]. Here are other facts from the same period: [paste, such as changes in tools, staffing, volumes, definitions].
List possible explanations as hypotheses, what data would test each, and which are not supported by the facts given. Do not state a cause as fact.
List what you are unsure of.
ИИ-навыки
- software-engineering-metrics: используйте, чтобы определять показатели поставки вместе с их рисками.
- key-risk-indicators: используйте, чтобы выбирать индикаторы раннего предупреждения.
- statistical-analysis: используйте, чтобы анализировать изменчивость и неопределённость.
- survey-design: используйте, чтобы разрабатывать показатели опыта, избегающие предвзятости.
- trend-analysis: используйте, чтобы исследовать изменения во времени.
Ключевые источники
- Сопутствующая книга Service Management Metrics: определения показателей, векторы подтасовки и ограничители, на которые эта тема ссылается на всём протяжении.
- Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018), и DORA (dora.dev): исследование показателей поставки.
- Donald J. Wheeler, Understanding Variation (1993): ясный рассказ о сигнале и шуме в показателях.
- Wikipedia, "Goodhart's law" и "Performance indicator": обзоры главных идей.
Источники
- Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
- Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
- Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Campbell's law — Wikipedia — https://en.wikipedia.org/wiki/Campbell%27s_law
- Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
- Economic indicator — Wikipedia — https://en.wikipedia.org/wiki/Economic_indicator
- Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Benchmarking — Wikipedia — https://en.wikipedia.org/wiki/Benchmarking
- Data and information visualization — Wikipedia — https://en.wikipedia.org/wiki/Data_and_information_visualization
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score