Почему это важно

Команда, хорошо справляющаяся с инцидентами, всё равно может оказаться в петле. Один и тот же вид сбоя возвращается каждый месяц, исполнители применяют одно и то же обходное решение, а затраты копятся: потерянное время пользователей, уставшие дежурные и растущее ощущение, что ничего никогда не становится лучше. Управление инцидентами восстанавливает услугу; оно не останавливает повторение.

Управление проблемами — практика, которая это делает. Оно спрашивает, почему происходят инциденты и что предотвратило бы их, и поручает ответы тому, кто может действовать. Оно также ведёт запись того, что известно о сбоях, которые ещё не исправлены, чтобы следующий исполнитель не начинал с нуля.

Для гибких команд практика естественно вписывается в непрерывное улучшение: находки становятся пунктами бэклога, конкурирующими с функциями в одном списке. Слабое место обычно не метод, а приоритет. Исправление причин часто проигрывает новой работе, пока кто-то не сделает видимой стоимость повторения. Эта тема объясняет практику, основные методы поиска причин и то, как не дать находкам умереть в отчёте. Она тесно связана с управлением инцидентами (тема 3.2 — Управление инцидентами), управлением знаниями (тема 3.9 — Управление знаниями) и непрерывным улучшением (тема 3.15 — Непрерывное улучшение).

Основные понятия

Проблема. В ITIL 4 — причина или потенциальная причина одного или нескольких инцидентов. Проблема существует до исправления; о ней может быть известно, что она вызывает инциденты, или это может быть лишь подозрение. Не каждый инцидент ведёт к записи о проблеме.

Известная ошибка. Проблема, которая проанализирована, но не решена, часто с документированным обходным решением. Термин в использовании ITIL описывает Wikipedia. Запись об известной ошибке позволяет service desk и исполнителям быстро найти обходное решение и увидеть статус постоянного исправления.

Обходное решение. Способ уменьшить или избежать влияния без исправления причины. Обходные решения делают жизнь терпимой и по небрежности могут стать постоянными. Хорошая запись указывает обходное решение, кто может его применять и ожидаемую дату реального исправления, чтобы временное не стало молча постоянным.

Виды деятельности. Выявление проблем, которое находит проблемы по тенденциям инцидентов, мониторингу и разборам; контроль проблем, который анализирует причины и документирует известные ошибки; и контроль ошибок, который управляет известными ошибками, пока они не решены или не приняты. ITIL описывает их как части одной практики, а не отдельные процессы.

Проактивное и реактивное. Реактивное управление проблемами отвечает на случившиеся инциденты. Проактивное ищет слабости до того, как они вызовут инциденты, например изучая «чуть не случившееся», тенденции оповещений и разборы изменений.

Анализ первопричин. Семейство методов поиска глубинной причины проблемы. Wikipedia описывает анализ первопричин и перечисляет распространённые приёмы. Среди известных:

  • Пять почему: спрашивать «почему» многократно, пока не дойдёте до причины, на которую можно воздействовать.
  • Диаграммы причин и следствий (Исикавы, «рыбья кость»): раскладывают возможные причины по категориям, чтобы направлять обсуждение.
  • Анализ дерева отказов: идти назад от сбоя через сочетания событий, которые могли его вызвать.
  • Анализ Парето: использовать подсчёты, чтобы найти немногие причины, стоящие за большинством инцидентов.
  • Анализ видов и последствий отказов (FMEA): исследовать каждую часть системы на предмет того, как она может отказать и что за этим последует.

Предостережения о причинах. У сложных систем редко бывает единственная первопричина. Модель швейцарского сыра, описанная в Wikipedia, представляет сбои как совпадение слабостей в нескольких слоях защиты. Поиск «той самой» первопричины обычно останавливается на первом удобном объяснении. Обычно полезнее назвать способствующие факторы и решить, какие дешевле всего и ценнее всего менять.

Культура без обвинений и справедливая культура. Обвинение останавливает обучение: люди скрывают ошибки, а разборы становятся оборонительными. Разбор без поиска виноватых смотрит, что в системе сделало действие разумным в тот момент. Справедливая культура (just culture), описанная в Wikipedia, различает честную ошибку и безрассудное поведение и обращается с ними по-разному. Статьи Wikipedia о человеческой ошибке и предвзятости ретроспективы объясняют, почему «кто-то должен был знать» редко бывает полезной находкой.

Разборы (postmortem). Письменный разбор после значимого инцидента, охватывающий, что произошло, влияние, хронологию, способствовавшие факторы, что прошло хорошо и действия. См. статью Wikipedia о документировании постмортемов. Хороший разбор читают и по нему действуют; плохой подшивают.

Приоритизация проблем. Проблем всегда больше, чем мощности. Ранжируйте их по влиянию, например потерянным часам пользователей или затратам, по частоте и по дешевизне исправления. Показывайте стоимость повторения. Технический долг, термин, описанный в Wikipedia, включает известные отложенные проблемы; его отслеживание делает выбор видимым.

Связь с изменением. Исправление проблемы обычно требует изменения. Поднимайте его через обычную практику изменений и следите, чтобы запись о проблеме закрывалась при подтверждении исправления. См. тему 3.4 — Обеспечение изменений.

Связь со знаниями. Известная ошибка и её обходное решение должны появляться в статьях базы знаний, которые могут найти service desk и дежурные. См. тему 3.9 — Управление знаниями.

Как вписываются линзы. Управление проблемами — место, где гибкое улучшение встречает эксплуатацию: находки идут в бэклог и открыто конкурируют. ИИ может кластеризовать инциденты, предлагать кандидатов в проблемы и готовить черновики разборов под проверкой. Автоматизация может обнаруживать повторение и применять проверенные обходные решения. Аналитика показывает повторение и стоимость.

Лучшие практики

  1. Ищите закономерности, а не только отдельные инциденты. Регулярно просматривайте инциденты на предмет повторов по услуге, компоненту, изменению и времени. Заводите проблему, когда появляется закономерность.
  2. Ведите видимый список проблем. Записывайте каждую проблему с владельцем, связанными инцидентами, влиянием, обходным решением и планом. Делайте список удобным для чтения исполнителями.
  3. Документируйте известные ошибки с обходными решениями. Пишите так, чтобы уставший дежурный мог им следовать, и связывайте с базой знаний service desk.
  4. Выбирайте метод под проблему. Используйте пять почему для простых случаев, «рыбью кость» для групповых обсуждений, деревья отказов для сложных сбоев и диаграммы Парето, чтобы найти, на чём сосредоточиться. Не применяйте тяжёлые методы к мелким вопросам.
  5. Называйте способствующие факторы, а не одного виновного. Перечислите все условия, сделавшие сбой возможным, и оцените, какие практично менять. Избегайте выводов, заканчивающихся «человеческой ошибкой».
  6. Проводите разборы без поиска виноватых. Приглашайте вовлечённых людей, объявите правила и сосредоточьтесь на системе. Распространяйте письменный разбор широко.
  7. Делайте действия конкретными и с владельцами. У каждого действия есть названный человек, дата и способ проверить выполнение. Помещайте его в бэклог, из которого команда действительно работает.
  8. Показывайте стоимость неисправления. Подсчитайте часы инцидентов, влияние на пользователей и нагрузку дежурств для каждой проблемы и используйте итоги в приоритизации. Представляйте их тем, кто задаёт приоритеты.
  9. Замыкайте петлю. Когда исправление выпущено, подтвердите, что инциденты прекратились, обновите статью базы знаний и закройте запись. Если проблема остаётся, откройте её снова.
  10. Пересматривайте практику. Проверяйте, сколько проблем открыто, как долго они живут и сокращаются ли повторные инциденты. Закрывайте проблемы, которые не стоят исправления, с записанным решением.

Вопросы для обсуждения с командой

Какие инциденты случались три и более раза за последние шесть месяцев и почему они всё ещё происходят? Начните с реальных примеров. Ожидайте смесь «мы так и не добрались» и «мы не знаем причины». Спросите, чего стоило каждое повторение. В продолжение выберите один для исправления и один для формального принятия.

Как мы решаем, какие проблемы исправлять первыми, и кто решает? Приоритизация часто неявна. Вы можете услышать, что побеждает самый громкий. Спросите, какие данные мы используем. В продолжение договоритесь о критериях и покажите стоимость для пяти главных проблем.

Когда мы в последний раз написали «человеческая ошибка» в разборе, что допустила система? Вопрос проверяет практику без обвинений. Возьмите прошлый разбор и спросите, что облегчило действие. Ищите отсутствующие защиты, неясную информацию или нехватку времени. В продолжение перепишите вывод в терминах системы.

Где живут известные ошибки и обходные решения и найдёт ли их уставший человек в три часа ночи? Знания, разбросанные по цепочкам чата, трудно найти. Попробуйте найти одно вместе. Ожидайте задержек. В продолжение договоритесь об одном месте и привычке именования.

Какие действия из наших трёх последних разборов всё ещё открыты и почему? Вопрос проверяет доведение до конца. Ожидайте конкуренции с работой над функциями. Спросите, кто решает приоритет между ними. В продолжение договоритесь о доле мощности для действий по проблемам.

Как ИИ мог бы помочь нам находить закономерности в инцидентах и как мы проверили бы его правоту? ИИ может группировать инциденты и предлагать причины. Он также может находить ложные закономерности. Спросите, кто проверяет и как. В продолжение сравните группировку ИИ с ручной на выборке.

На практике: пример управления услугами

У команды учебной платформы университета каждые несколько недель повторяется инцидент: студенты не могут сдать работы вблизи крайнего срока. Service desk применяет одно и то же обходное решение — перезапуск службы очередей, что восстанавливает приём работ за 15 минут. Каждый раз инцидент закрывается и забывается.

Владелец услуги предлагает отнестись к этому как к проблеме. Она собирает последние девять инцидентов и записывает время каждого, нагрузку на тот момент и изменения за предыдущую неделю. Анализ Парето не помогает, поскольку категория причины одна, но хронология показывает, что каждый инцидент происходил в пределах часа от крайнего срока, когда поток сдач резко возрастает. Обсуждение «рыбьей кости» с разработчиками и эксплуатацией перечисляет способствующие факторы: у службы очередей фиксированный предел памяти; ни одно оповещение не предупреждает до его заполнения; недавнее изменение увеличило размер каждой сдачи; а план ёмкости не учитывал пики сроков.

Команда называет три действия: повысить предел памяти и проверить новый пик, добавить оповещение на 70 процентах ёмкости и написать статью об известной ошибке, чтобы service desk видел обходное решение и статус исправления. Они также добавляют календари сроков в обзор ёмкости. Владелец услуги показывает руководству, что проблема стоила примерно 15 часов сбоев для студентов и девяти прерываний дежурных за три месяца, и работу планируют раньше небольшой функции.

Что изменилось: следующий крайний срок проходит без инцидента, и оповещение срабатывает один раз на 72 процентах, давая время действовать. Что остаётся трудным: изменение предела было временной мерой, поскольку службу очередей нужно переработать под более крупные файлы, что конкурирует с дорожной картой следующего семестра; цифры затрат — оценки по времени обращений; а разбор не смотрел, было ли должным образом протестировано более раннее изменение размера. Владелец записывает переработку как всё ещё открытую проблему с датой пересмотра.

Четыре перспективы

Команды продукта и поставки

Считайте действия по проблемам частью вашего бэклога. Исправляйте причины в проекте, добавляйте тесты и оповещения, ловящие известные сбои, и участвуйте в разборах. Не передавайте проблемы только эксплуатации.

Команды услуг и эксплуатации

Записывайте закономерности и известные ошибки и приносите на планирование данные о стоимости и повторяемости. Держите обходные решения документированными и находимыми. Проводите разборы, на которых людям безопасно присутствовать.

Руководство и управление

Просите показывать повторяющиеся инциденты и их стоимость и защищайте мощность для их исправления. Ищите страх обвинения в том, как обсуждаются разборы. Отслеживайте возраст открытых проблем.

Клиенты и пользователи

Вы должны услышать, когда у повторяющейся проблемы есть причина и исправление. Если вы сообщаете об одной проблеме дважды, скажите об этом. Спросите, что сделано.

Agile, ИИ, автоматизация и аналитика

Agile

Помещайте действия по проблемам в тот же бэклог, что и функции, и рассматривайте их с заинтересованными сторонами, непрерывно поставляя небольшие исправления. Предостережение: если работа над проблемами всегда отодвигается за функции, бэклог растёт, а инциденты продолжаются; договоритесь о защищённой доле мощности.

ИИ

ИИ может группировать инциденты, связывать их с изменениями, предлагать кандидатов в причины и готовить черновики разборов по хронологии, с проверкой человеком. Назовите владельца каждого применения. Предостережение: ИИ может выдумать причины или преувеличить закономерности; относитесь к его предложениям как к гипотезам и проверяйте на данных. См. тему 5.2 — AIOps и тему 5.4 — Генеративный ИИ для инцидентов, знаний и изменений.

Автоматизация

Автоматизируйте обнаружение повторения, создание записей о проблемах по закономерностям и проверенные обходные решения, с журналами и пределами. Предостережение: автоматическое обходное решение может скрыть ухудшающуюся проблему; отслеживайте, как часто оно срабатывает, и задайте порог эскалации. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.

Аналитика

Смотрите на частоту повторения, возраст и стоимость открытых проблем и долю инцидентов, связанных с известными проблемами. Предостережение: число закрытых проблем можно подтасовать, закрывая их раньше срока или дробя; проверяйте, что инциденты действительно сокращаются. См. книгу Service Management Metrics и тему 7.3 — Измерение и отчётность.

Типичные виды сбоев

  • Исправление инцидента, а не причины. Обходное решение становится постоянным. Заводите проблему, когда появляется закономерность.
  • Охота за единственной первопричиной. Команда останавливается на удобном ответе. Перечислите способствующие факторы и выберите, какие менять.
  • Обвинения. Люди скрывают ошибки. Проводите разборы без поиска виноватых и отслеживайте изменения системы.
  • Отчёты без владельцев. Действия перечислены и не выполнены. Назначьте владельцев, даты и пересмотр.
  • Стоимость не показана. Проблемы проигрывают функциям. Подсчитайте стоимость повторения.
  • Известные ошибки трудно найти. Исполнители начинают с нуля. Держите одно место, доступное для поиска.
  • Закрытие без проверки. Исправление не работает. Подтвердите, что инциденты прекратились, прежде чем закрывать.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Выявление Только после крупных инцидентов Рассматриваются некоторые повторные инциденты Регулярный обзор закономерностей заводит проблемы Тенденции и «чуть не случившееся» используются проактивно Проблемы находятся автоматически и по всем услугам
Анализ Догадки Неформальные методы Стандартные методы по типу проблемы Качество методов пересматривается Общий анализ по командам и партнёрам
Известные ошибки В головах Некоторые документированы Записаны с обходными решениями в находимом месте Использование и точность пересматриваются Связаны с автоматизацией и знаниями по услугам
Действие и обучение Обвинения и потерянные действия Случайное сопровождение Действия с владельцами в бэклоге, разборы без поиска виноватых Повторяемость и выполнение действий измеряются Обучение разделяется и применяется по организации

Контрольный список

  • Мы регулярно просматриваем инциденты на предмет повторов.
  • Мы ведём видимый список проблем с владельцами и стоимостью.
  • Известные ошибки и обходные решения документированы в находимом месте.
  • Разборы проходят без поиска виноватых и называют способствующие факторы.
  • У каждого действия есть владелец, дата и способ проверить выполнение.
  • У работы над проблемами есть защищённая мощность в бэклоге.
  • Мы подтверждаем исправления, прежде чем закрывать проблемы.
  • У ИИ, используемого для анализа, есть владелец и выборочная проверка.

Запросы к ИИ

Найдите повторяющиеся инциденты.

Below is a list of incidents with dates, services, short descriptions, and resolutions, with names removed: [paste list].
Group those that look like repeats, state what they have in common, and list for each group two questions to investigate. Do not name causes. Mark groups you are unsure of.
List what you are unsure of.

Превратите разбор в список способствующих факторов.

Here is a postmortem draft: [paste, names removed].
List contributing factors in categories (technical, process, information, people and workload, suppliers), quoting the text for each, and list what the draft does not say about each. Do not assign blame or add causes.
List what you are unsure of.

Оцените стоимость повторения.

For problem [name] we have these records: incident count, duration of each, users affected, on-call interruptions: [paste data].
Calculate total hours, hours per incident, and per month, showing every step. State what data is missing for a fair cost estimate. Do not guess missing numbers.
List what you are unsure of.

ИИ-навыки

  • root-cause-analysis: используйте, чтобы анализировать причины подходящим методом.
  • fishbone-diagram: используйте, чтобы упорядочить возможные причины в групповом обсуждении.
  • postmortem: используйте, чтобы написать разбор без поиска виноватых и довести его до конца.
  • cause-and-effect-diagram: используйте, чтобы нанести на карту причины и следствия.
  • risks-actions-issues-decisions: используйте, чтобы отслеживать действия до завершения.

Ключевые источники

  • Sidney Dekker, The Field Guide to Understanding "Human Error": о том, почему обвинение отдельных людей не работает и на что смотреть вместо этого.
  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), глава о культуре разборов, свободно на sre.google.
  • PeopleCert, ITIL certification pages: описание практики управления проблемами от владельца.
  • Wikipedia, "Root-cause analysis" и "Postmortem documentation": обзоры методов и документов.

Источники

  1. Root-cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root-cause_analysis
  2. Known error — Wikipedia — https://en.wikipedia.org/wiki/Known_error
  3. Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
  4. Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
  5. Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
  6. Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
  7. Pareto principle — Wikipedia — https://en.wikipedia.org/wiki/Pareto_principle
  8. Swiss cheese model — Wikipedia — https://en.wikipedia.org/wiki/Swiss_cheese_model
  9. Just culture — Wikipedia — https://en.wikipedia.org/wiki/Just_culture
  10. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  11. Technical debt — Wikipedia — https://en.wikipedia.org/wiki/Technical_debt