Почему это важно

Сервисные команды порождают огромное количество данных: обращения, журналы, метрики, опросы, записи об изменениях, отчёты о затратах. Большая часть лежит без дела или сведена в панели, которые никто не может связать с решением. Отчёты описывают активность, например число закрытых обращений, и мало говорят о том, стало ли клиентам лучше.

Аналитика — дисциплина получения ответов из данных. Wikipedia описывает аналитику как обнаружение, интерпретацию и передачу значимых закономерностей в данных. В управлении услугами она может показать, откуда берётся спрос, почему повторяются инциденты, где работа ждёт, какие изменения рискованны и помогло ли улучшение. Она также может вводить в заблуждение. График может выглядеть авторитетно, опираясь при этом на смещённую выборку, совпадение или определение, незаметно изменившееся.

Эта тема — точка входа в часть 7. Она описывает виды аналитики, шаги обоснованного анализа и ловушки, в которые попадают даже внимательные люди. Определения показателей она оставляет сопутствующей книге Service Management Metrics и указывает на следующие темы: основы (тема 7.2 — Основы данных и управление данными), измерение (тема 7.3 — Измерение и отчётность), наблюдаемость (тема 7.4 — Наблюдаемость и телеметрия), предсказание (тема 7.5 — Прогнозная аналитика и прогнозирование), поток (тема 7.6 — Аналитика процессов и потока создания ценности) и опыт (тема 7.7 — Аналитика опыта и настроений). Описание владельцем новейшей версии ITIL подчёркивает измеримые результаты (см. тему 1.3 — ITIL 5), зависящие от хорошо проведённой аналитики.

Основные понятия

Четыре вида аналитики. Распространённая схема различает:

Вид Вопрос Пример в сервисной работе
Описательная Что произошло? Инциденты в месяц по услугам
Диагностическая Почему это произошло? Что общего у повторяющихся инцидентов
Предиктивная Что, вероятно, произойдёт? Прогноз объёма обращений в следующем квартале
Предписывающая Что нам следует делать? Уровни штата, достигающие цели при наименьших затратах

Описательную, предиктивную и предписывающую аналитику описывает Wikipedia. Каждая опирается на предыдущую. Большинство сервисных команд получат наибольшую ценность, хорошо делая первые две.

Начинайте с вопроса. Анализ начинается с решения, которое кому-то нужно принять, например добавлять ли персонал в вечернюю смену, и превращает его в вопрос, на который могут ответить данные. Без вопроса анализ становится поиском чего-нибудь интересного, а статья Wikipedia о выуживании данных (data dredging) объясняет, как это находит закономерности, оказывающиеся случайными.

Данные. Что у вас есть, откуда они взялись, как записывались и что оставляют за кадром. Данные обращений показывают, о чём люди решили сообщить и как операторы это категоризировали, а не всё, что случилось. См. тему 7.2 — Основы данных и управление данными. Качество данных как пригодность к использованию описывает Wikipedia.

Описательная статистика. Сводки вроде подсчётов, медиан, процентилей и разброса. Описательную статистику описывает Wikipedia. Для данных об услугах медианы и процентили обычно полезнее средних, скрывающих длинные хвосты, а выбросы, описанные в Wikipedia, заслуживают взгляда, а не автоматического удаления.

Исследовательский анализ. Просмотр данных, чтобы увидеть их форму, качество и сюрпризы до проверки идей. Разведочный анализ данных описывает Wikipedia. Он предотвращает глупые ошибки, например принятие отсутствующего значения за ноль.

Выборка и предвзятость. Большинство анализов использует выборку, а выборки могут вводить в заблуждение. Выборку и смещение отбора описывает Wikipedia. Ответы на опросы приходят от тех, кто отвечает, а обращения в поддержку — от тех, кто к вам обращается. Ошибка выжившего, также описанная там, возникает, когда изучают только оставшееся, например клиентов, которые остались.

Корреляция и причина. Совместное движение двух вещей не означает, что одна вызывает другую. Проблему описывает Wikipedia под заголовком «корреляция не означает причинно-следственной связи», а также смешивающие факторы, когда третий фактор влияет на оба. Объём обращений и число серверов могут расти вместе, потому что вырос бизнес. Утверждения о причине требуют большего, чем график: контролируемого сравнения или тщательного рассуждения об альтернативах. Причинный вывод и A/B-тестирование как способы узнать о причине описывает Wikipedia.

Парадоксы и ловушки. Парадокс Симпсона, описанный в Wikipedia, — случай, когда тенденция, проявляющаяся в нескольких группах, меняется на обратную при объединении групп. Ошибка базовой частоты (base rate fallacy), также описанная там, — игнорирование того, насколько часто что-то встречается, так что хороший детектор редкого события даёт в основном ложные тревоги. Знание таких ловушек — защита.

Статистическая значимость и неопределённость. Результат «значим», когда он маловероятно обусловлен одной лишь случайностью при заявленных допущениях. Проверку гипотез и доверительные интервалы описывает Wikipedia. Значимость — не важность: крошечный эффект может быть значимым в большом наборе данных, а большой эффект может быть неопределённым в малом. Показывайте диапазоны, а не только отдельные числа.

Визуализация. Графики помогают людям видеть закономерности, а плохие графики вводят в заблуждение. Визуализацию данных и информации описывает Wikipedia. Выбирайте формы, подходящие вопросу, подписывайте оси и единицы, честно начинайте шкалы и показывайте неопределённость. Панели, описанные в Wikipedia как визуальные отображения ключевой информации, должны служить решениям и быть немногочисленными.

Временные ряды. Многие данные об услугах записываются во времени, с тенденциями, сезонными закономерностями и внезапными сдвигами. Анализ временных рядов описывает Wikipedia. Сравнивайте сравнимое: этот понедельник с другими понедельниками. См. тему 7.5 — Прогнозная аналитика и прогнозирование.

Модели и машинное обучение. Статистические модели и модели машинного обучения могут предсказывать, классифицировать и кластеризовать. Им нужны обучающие и тестовые данные, проверка и мониторинг дрейфа. См. тему 5.1 — ИИ в управлении услугами. Модель — не источник истины; это инструмент с допущениями.

Закон Гудхарта. Когда мера становится целью, она перестаёт быть хорошей мерой. Закон описывает Wikipedia. Аналитика, используемая для оценки людей или команд, провоцирует изменения поведения, улучшающие число, а не результат. Используйте показатели, чтобы учиться, сочетайте их с другими и говорите, как каждый можно подтасовать. См. книгу Service Management Metrics.

Этика и конфиденциальность. Аналитика людей, например производительности операторов или поведения пользователей, поднимает вопросы согласия, справедливости и соразмерности. Конфиденциальность и алгоритмическую предвзятость описывает Wikipedia в других статьях. Собирайте только нужное, агрегируйте, где можете, и будьте открыты в том, что и зачем вы анализируете. См. тему 5.6 — Управление ИИ, риски и соответствие.

Коммуникация. Анализ, который никто не понимает, ничего не меняет. Излагайте вопрос, ответ, уверенность, пределы и рекомендуемое решение простыми словами, с графиком там, где он помогает.

Как вписываются линзы. Аналитика — четвёртая линза, и она служит остальным трём. Гибкая практика использует её, чтобы проверить, помогло ли изменение. ИИ использует данные как топливо и может ускорять анализ под проверкой. Автоматизация производит данные и действует по ним. Аналитике также нужны первые три линзы, чтобы превратить понимание в изменение.

Лучшие практики

  1. Начинайте с решения. Запишите, кто что решает, к какому сроку и какие свидетельства изменили бы его мнение. Формируйте анализ под это.
  2. Превратите решение в точный вопрос. Определите термины, такие как «решено» или «повторный инцидент», совокупность и период, прежде чем касаться данных.
  3. Знайте свои данные. Документируйте источники, как создаются записи, известные пробелы и изменения определений во времени. Сверяйте выборку с реальностью.
  4. Смотрите до проверки. Сначала исследуйте распределения, отсутствующие значения и выбросы. Исправляйте ошибки и записывайте, что вы изменили.
  5. Используйте устойчивые сводки. Сообщайте медианы и процентили с подсчётами и показывайте разброс. Сравнивайте сравнимое, например тот же день недели или сезон.
  6. Остерегайтесь предвзятости. Спрашивайте, кого нет в данных и почему. Указывайте пределы выборки, когда представляете результаты.
  7. Не заявляйте причину без оснований. Говорите «связано с», если нет сравнения или сильного довода. Перечисляйте альтернативные объяснения и говорите, как вы их проверяли.
  8. Показывайте неопределённость. Давайте диапазоны и отмечайте размеры выборок. Избегайте ложной точности.
  9. Проектируйте визуальное для читателя. Держите графики простыми, честными и подписанными. Предпочитайте несколько содержательных панелей многим неиспользуемым.
  10. Замыкайте петлю. Записывайте принятое решение и результат и позднее проверяйте, помог ли анализ. Выводите отчёты, которыми никто не пользуется.

Вопросы для обсуждения с командой

Какое последнее решение мы приняли на основе данных и что данные на самом деле нам сказали? Попросите пример. Ожидайте, что данные поддерживали уже принятое решение. В продолжение выберите предстоящее решение и сначала запишите вопрос.

Какие из наших отчётов никто не читает и по которым никто не действует? Проверьте использование. Ожидайте нескольких. В продолжение выведите один и спросите, не скучает ли кто-то по нему.

Где наши данные могут быть смещены или неполны и кого в них нет? Подумайте об обращениях, опросах и журналах. Ожидайте, что многие пользователи никогда к нам не обращаются. В продолжение выберите один источник и добавьте проверку из другого.

Что убедило бы нас, что недавнее улучшение действительно сработало? Обсудите свидетельства. Ожидайте опоры на графики «до и после». В продолжение перечислите другие вещи, изменившиеся одновременно.

Какие из наших чисел можно подтасовать и как мы это заметим? Выберите показатель, важный для чьей-то оценки. Ожидайте изобретательных ответов. В продолжение договоритесь о выборочной проверке или парном показателе.

Как ИИ мог бы помочь нам анализировать данные и как мы проверим его работу? ИИ может резюмировать данные, составлять черновики графиков и предлагать закономерности. Он также может заявлять выдуманные находки. Спросите, кто проверяет и как. В продолжение повторите анализ ИИ вручную на небольшом наборе данных.

На практике: пример управления услугами

ИТ-service desk национальной налоговой службы обрабатывает 25 000 обращений в месяц. У руководителя старшего звена есть панель, показывающая, что среднее время решения выросло на 20 процентов за год, и он просит руководителя desk «вернуть его вниз». Руководитель решает сначала проанализировать, а не реагировать.

Она начинает с вопроса: выросло ли время решения типичного обращения и если да, то для каких видов обращений? Сначала она проверяет данные. Весной система обращений изменила способ записи «решено»: обращения считаются решёнными, когда оператор помечает их, а не когда пользователь подтверждает. Она также обнаруживает, что новая категория сложных запросов «доступ к системе дел», запущенная осенью, составляет 12 процентов обращений и занимает в пять раз больше времени, чем остальные.

Она пересчитывает по медианам и 90-м процентилям с разбивкой по категориям. Для старых категорий медианное время решения не изменилось; 90-й процентиль слегка вырос. Общее среднее выросло в основном из-за новой категории и изменённого определения. Она отмечает, что данные не могут показать, почему некоторые запросы доступа занимают много времени, только что они занимают.

Она представляет одностраничное резюме: среднее выросло из-за нового вида работы и изменения определения; большинство обращений так же быстры, как прежде; длинный хвост слегка вырос, а сложные запросы требуют внимания. Она избегает утверждения, что новая категория «вызвала» рост длинного хвоста, поскольку произошли и кадровые изменения. Она предлагает два действия: исследование запросов доступа на выборке из 40 обращений и ежемесячный отчёт по категориям с процентилями.

Что изменилось: руководитель перестаёт просить общее сокращение и просит исследование запросов доступа. Что остаётся трудным: изменение определения нельзя полностью отменить, поэтому сравнения через разрыв остаются приблизительными; выборку из 40 обращений читал один человек, и она открыта для предвзятости; а руководитель по-прежнему предпочитает одно число. Руководитель desk сохраняет оба вида и каждый раз объясняет пределы.

Четыре перспективы

Команды продукта и поставки

Используйте данные, чтобы проверять, помогли ли изменения, и оснащайте продукт так, чтобы полезные данные существовали. Делитесь определениями и пределами с теми, кто пользуется вашими данными, и избегайте преувеличений на основе одного графика.

Команды услуг и эксплуатации

Знайте, откуда берутся ваши данные и что они упускают. Сообщайте медианы и процентили с подсчётами и исследуйте длинные хвосты. Сообщайте аналитикам, когда меняется инструмент или категория.

Руководство и управление

Просите вопрос, данные, пределы и решение, а не только график. Не используйте отдельные показатели для оценки людей. Финансируйте качество данных и аналитические навыки.

Клиенты и пользователи

Вы находитесь в данных и часто отсутствуете в них. У вас должны спрашивать, что для вас важно, а поставщик должен говорить, как используется ваша информация. Сообщайте поставщику, когда числа не соответствуют вашему опыту.

Agile, ИИ, автоматизация и аналитика

Agile

Используйте аналитику как инструмент обратной связи: задайте ожидание, сделайте небольшое изменение, проверьте данные и решите. Делитесь результатами с заинтересованными сторонами. Предостережение: не ждите идеальных данных, прежде чем действовать в небольшом эксперименте; также не считайте короткий график «до и после» доказательством.

ИИ

ИИ может очищать данные, составлять черновики запросов и графиков, резюмировать результаты и предлагать закономерности, с владельцем и проверками. Предостережение: анализ, созданный ИИ, может заявлять находки, которых данные не поддерживают, или использовать неверный метод; требуйте от него показывать расчёты и повторяйте выборку вручную. См. тему 5.1 — ИИ в управлении услугами.

Автоматизация

Автоматизируйте сбор данных, очистку и рутинные отчёты, документируя каждый шаг. Предостережение: автоматические отчёты могут продолжаться после того, как их смысл изменился; регулярно пересматривайте определения и источники. См. тему 6.1 — Стратегия автоматизации.

Аналитика

Эта тема — сама линза: вопросы, данные, методы, неопределённость и решения. Предостережение: не позволяйте объёму данных заменять понимание; измеряйте, изменили ли анализы решения. Определения показателей и ограничители см. в книге Service Management Metrics.

Типичные виды сбоев

  • Отчёты без решений. Панели, которыми никто не пользуется. Начинайте с решения и выводите неиспользуемые отчёты.
  • Средние, которые скрывают. Хвост плохого опыта остаётся невидимым. Используйте медианы, процентили и разбивки.
  • Неизвестные определения. Изменение смысла поля ломает тенденции. Документируйте и отслеживайте определения.
  • Смещённые выборки. Считаются только те, кто к вам обращается. Указывайте, кого нет.
  • Причина из корреляции. График принимают за доказательство. Перечисляйте альтернативные объяснения и проверяйте.
  • Ложная точность. Числа показаны без неопределённости. Показывайте диапазоны и размеры выборок.
  • Цели, искажающие поведение. Люди оптимизируют число. Сочетайте показатели и проверяйте выборки реальных случаев.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Вопросы и решения Отчёты по привычке Некоторые вопросы определены Анализы начинаются с названных решений Влияние на решения отслеживается Аналитика интегрирована с планированием по услугам
Понимание данных Неизвестно Известны основные источники Источники, определения и пробелы документированы Качество данных измеряется и улучшается Данными управляют и делятся между командами и партнёрами
Метод Средние и графики Медианы и базовые разбивки Стандартные методы, неопределённость и проверки на предвзятость Методы рассматриваются и перепроверяются коллегами Продвинутые методы с надзором и проверкой
Коммуникация Панели Резюме Находки простым языком с пределами Находки проверяются на пользователях Выводы встроены в ежедневные решения

Контрольный список

  • Каждый анализ начинается с названного решения и точного вопроса.
  • Мы документируем источники данных, определения и известные пробелы.
  • Мы сообщаем медианы и процентили с подсчётами.
  • Мы указываем, кого нет в данных, и пределы выборок.
  • Мы отделяем корреляцию от причины и перечисляем альтернативные объяснения.
  • Мы показываем неопределённость и избегаем ложной точности.
  • Мы сочетаем показатели, которые можно подтасовать, и проверяем выборки реальных случаев.
  • Мы отслеживаем принятые решения и пересматриваем, помог ли анализ.

Запросы к ИИ

Превратите решение в вопрос.

The decision we need to make: [describe]. Who decides: [role]. Data we have: [list sources and fields].
Write three precise analytical questions that would inform the decision, with definitions of key terms, the population, and the period. List what data we lack for each. Do not propose answers.
List what you are unsure of.

Проверьте резюме результатов на ловушки.

Here is a summary of an analysis with the data used: [paste].
List possible problems: sample bias, missing groups, changes in definitions, outliers, confounding factors, and claims of cause not supported by the data. Quote the text for each. Do not redo the analysis.
List what you are unsure of.

Опишите набор данных перед анализом.

Here is a sample of rows from our dataset with field names, identifiers removed: [paste].
List each field, its apparent type, missing values, odd values, and questions to ask about how it is recorded. Do not draw conclusions about the business.
List what you are unsure of.

ИИ-навыки

  • statistical-analysis: используйте, чтобы выбирать и применять обоснованные статистические методы.
  • trend-analysis: используйте, чтобы исследовать изменения во времени.
  • data-quality: используйте, чтобы проверять и улучшать данные, стоящие за анализом.
  • software-engineering-metrics: используйте, чтобы определять показатели поставки вместе с их рисками.
  • survey-design: используйте, чтобы разрабатывать опросы, избегающие типичной предвзятости.

Ключевые источники

  • Edward Tufte, The Visual Display of Quantitative Information (1983): классика о честных графиках.
  • Darrell Huff, How to Lie with Statistics (1954): короткий читаемый рассказ о частых статистических уловках.
  • Сопутствующая книга Service Management Metrics: определения показателей, векторы подтасовки и ограничители.
  • Wikipedia, "Analytics" и "Data analysis": обзоры области.

Источники

  1. Analytics — Wikipedia — https://en.wikipedia.org/wiki/Analytics
  2. Data analysis — Wikipedia — https://en.wikipedia.org/wiki/Data_analysis
  3. Descriptive statistics — Wikipedia — https://en.wikipedia.org/wiki/Descriptive_statistics
  4. Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
  5. Prescriptive analytics — Wikipedia — https://en.wikipedia.org/wiki/Prescriptive_analytics
  6. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
  7. Simpson's paradox — Wikipedia — https://en.wikipedia.org/wiki/Simpson%27s_paradox
  8. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
  9. Data dredging — Wikipedia — https://en.wikipedia.org/wiki/Data_dredging
  10. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  11. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
  12. Exploratory data analysis — Wikipedia — https://en.wikipedia.org/wiki/Exploratory_data_analysis