Почему это важно

Автоматизация — старейший рычаг технологической эксплуатации и тот, за который чаще всего дёргают без плана. Кто-то пишет скрипт, чтобы сэкономить час, и он работает. Кто-то другой пишет ещё один. За два года у команды набираются сотни скриптов, запланированных заданий и правил рабочих потоков, написанных людьми, которые уже ушли, понятных никому и от которых зависит всё. Тихий сбой в одном из них останавливает услугу, и команда узнаёт, что автоматизировала, обнаружив, что остановилось.

Противоположная ошибка тоже распространена. Команда ставит цель «автоматизировать 80 процентов задач» и автоматизирует то, что происходит дважды в год, зависит от суждения или меняется каждый месяц. Усилия никогда не окупаются, а автоматизацию приходится поддерживать вечно. Между тем работа, которая окупила бы автоматизацию десятикратно, остаётся ручной, потому что скучна и о ней никто не спросил.

Стратегия избегает обоих путей. Она выбирает, что автоматизировать, по свидетельствам отдачи, упорядочивает работу так, что упрощение предшествует написанию скриптов, и относится к результату как к тому, чем нужно владеть и что нужно поддерживать. Она также считается с реальной человеческой ценой: когда машины берут рутину, людям остаются трудные исключения и меньше возможностей практиковать основы. Эта тема излагает эти выборы. Она — точка входа в часть 6 и связана с автоматизацией рабочих процессов (тема 6.2 — Автоматизация рабочих процессов и оркестрация), инфраструктурой как кодом (тема 6.3 — Инфраструктура как код и GitOps), конвейерами (тема 6.4 — Конвейеры и автоматизированные изменения), самообслуживанием (тема 6.5 — Самообслуживание и автоматизированное выполнение) и автоматизацией руководств (тема 6.6 — Автоматизация runbook и автоматическое устранение сбоев). Связь с ИИ — в теме 5.1 — ИИ в управлении услугами.

Основные понятия

Автоматизация. Использование технологий для выполнения задач с меньшим участием человека. Автоматизацию в промышленности в целом описывает Wikipedia. В управлении услугами она варьируется от запланированного скрипта до рабочих потоков, охватывающих инструменты, и систем, которые решают и действуют. Слово охватывает очень разные вещи, поэтому в каждом обсуждении называйте вид.

Сначала оптимизируйте, затем автоматизируйте. Руководящий принцип ITIL 4 «оптимизируйте и автоматизируйте» говорит: убедитесь, что работа настолько эффективна, насколько возможно, затем используйте технологии, чтобы достичь большего (см. тему 1.5 — Руководящие принципы ITIL). Порядок намеренный. Автоматизация запутанного или расточительного процесса закрепляет его путаницу и потери на месте и затрудняет изменения. Бережливое мышление приходит к тому же взгляду (см. тему 2.4 — Бережливость и кайдзен).

Что делает задачу хорошим кандидатом. Ищите работу частую, хорошо понятную, основанную на правилах, подверженную ошибкам при ручном выполнении и стабильную. Типичные цели, такие как перемещение данных между системами, описывают статьи Wikipedia об автоматизации бизнес-процессов и роботизированной автоматизации процессов (RPA). Плохие кандидаты — редкие, меняющиеся, неоднозначные или зависящие от суждения или эмпатии.

Отдача от автоматизации. Приблизительное правило — сравнить сэкономленное за год время, плюс ценность меньшего числа ошибок и более быстрого отклика, с затратами на создание, эксплуатацию и сопровождение автоматизации. Рентабельность инвестиций и анализ затрат и выгод описывает Wikipedia. Включайте сопровождение: автоматизации ломаются, когда меняются окружающие системы. Указывайте допущения и диапазоны, поскольку числа — оценки.

Где искать. Начните с данных. Анализ процессов (process mining), описанный в Wikipedia, использует журналы событий, чтобы показать, как работа течёт на самом деле. Данные обращений и запросов показывают, какие задачи повторяются. Спросите тех, кто выполняет работу, что им скучно или досадно. Принцип Парето подсказывает, что небольшая доля типов задач составляет большую часть объёма.

Уровни автоматизации. От ручного через вспомогательный (инструмент готовит, человек действует) к условному (система действует, человек одобряет) и автономному в пределах. Выбирайте уровень для каждой задачи по цене ошибки и возможности отмены. См. тему 5.5 — Агентный ИИ и человеческий надзор.

Меры контроля. Каждой автоматизации нужны журнал того, что она сделала и когда, пределы того, чего она может касаться, способ её остановить и способ отменить её последствия. Отказобезопасное проектирование (fail-safe), при котором система при отказе должна отказывать так, чтобы причинить наименьший вред, описывает Wikipedia. См. тему 3.4 — Обеспечение изменений.

Автоматизация как продукт. У автоматизации есть пользователи, владелец, бэклог, документация, тесты и жизненный цикл. Без владельца она разрушается. Здесь применима статья Wikipedia о техническом долге: скрипты, написанные в спешке и никогда не поддерживаемые, становятся обязательствами. См. тему 2.8 — Владение продуктом и услугой.

Сначала стандартные процедуры. Письменная проверенная процедура, такая как руководство по эксплуатации или стандартная операционная процедура (описанная в Wikipedia), — лучшая спецификация для автоматизации. Если вы не можете записать, что делает человек, вы не готовы это автоматизировать. См. тему 3.9 — Управление знаниями.

Инструменты и платформы. Варианты варьируются от shell-скриптов и планировщиков вроде cron через платформы рабочих процессов и оркестрации до RPA и low-code платформ. Каждый описывает Wikipedia. Выбирайте самый простой сопровождаемый инструмент и предпочитайте инструменты со встроенными контролем версий, тестированием и аудитом. См. тему 6.2 — Автоматизация рабочих процессов и оркестрация.

Навыки и иронии автоматизации. В известной статье 1983 года исследовательница Лизанн Бейнбридж описала иронии автоматизации: когда автоматизация выполняет большую часть задачи, человеку остаются трудные редкие случаи, но у него меньше практики и меньше чувства системы. Статью описывает Wikipedia. Практический урок — поддерживать практику людей, показывать им, что делает автоматизация, и проектировать передачи так, чтобы человек мог вмешаться.

Фактор автобуса и знания. Автоматизация может концентрировать знания у автора. Фактор автобуса описывает Wikipedia. Рассматривайте, документируйте и делитесь, чтобы более одного человека могли поддерживать каждую автоматизацию.

Безопасность. Автоматизации хранят учётные данные и обладают властью. Скомпрометированная автоматизация — привлекательная цель. Дайте каждой собственную идентичность с минимальными правами, храните секреты безопасно и пересматривайте доступ. См. тему 3.13 — Управление информационной безопасностью.

Люди и доверие. Сотрудники могут опасаться, что автоматизация угрожает их рабочим местам или что её обвинят в сбоях. Привлекайте их к выбору, что автоматизировать, говорите, как будет использовано сэкономленное время, и отмечайте работу по созданию и поддержке автоматизации. См. тему 8.3 — Организационные изменения и внедрение.

Как вписываются линзы. Автоматизация — третья линза. Гибкая практика предлагает автоматизировать небольшими шагами и учиться на каждом. ИИ добавляет способ решать и готовить черновики; автоматизация действует. Аналитика выявляет кандидатов и показывает, дала ли автоматизация результат.

Лучшие практики

  1. Начинайте с данных и боли. Смотрите на объёмы обращений и запросов, анализ процессов где доступен и на то, что сотрудники находят утомительным. Выбирайте по свидетельствам, а не по моде.
  2. Сначала упрощайте. Убирайте шаги и согласования, не добавляющие ценности, прежде чем превращать их в скрипты. Спросите, каким был бы процесс, если бы вы начинали заново.
  3. Запишите процедуру. Документируйте шаги, входы, выходы и исключения. Проверьте процедуру, попросив кого-то другого ей последовать. Используйте её как спецификацию.
  4. Честно оценивайте отдачу. Сравнивайте сэкономленное время с затратами на создание и сопровождение, используя диапазоны. Учитывайте сокращение ошибок и скорость там, где это важно. Отбрасывайте кандидатов, не окупающихся.
  5. Автоматизируйте небольшими шагами. Начните с одной части, например сбора данных для человека, затем расширяйте. Выпускайте часто и учитесь.
  6. Выбирайте уровень автономии по риску. Позвольте малорисковым обратимым задачам выполняться самостоятельно с журналами и оставляйте человека в контуре для значимых или необратимых.
  7. Встраивайте журналы, пределы и откат. Записывайте каждое действие, ограничивайте, сколько может изменить один запуск, и пишите путь назад. Проверяйте его.
  8. Дайте каждой автоматизации владельца и дом. Храните код в системе контроля версий с рассмотрением и тестами, документируйте его и перечисляйте в реестре с владельцем и тем, что от него зависит.
  9. Поддерживайте навыки живыми. Показывайте людям, что делает автоматизация, репетируйте ручной запасной вариант для важных задач и ротируйте людей по трудным случаям.
  10. Пересматривайте и выводите. Регулярно проверяйте, какие автоматизации используются, а какие отказывают, исправляйте или удаляйте их и сверяйте выгоду с оценкой.

Вопросы для обсуждения с командой

Какие задачи мы повторяем чаще всего и какие больше всего хотели бы никогда не делать снова? Спросите всех. Ожидайте создание учётных записей, отчёты и исправления данных. В продолжение выберите три и оцените часы в месяц.

Как выглядел бы процесс для нашего главного кандидата, если бы мы упростили его до автоматизации? Нарисуйте его. Ожидайте шагов, которые никто не может обосновать. В продолжение уберите один до написания какого-либо кода.

От каких автоматизаций мы уже зависим, кто владеет каждой и что произойдёт, если одна тихо откажет? Составьте список. Ожидайте сюрпризов и сирот. В продолжение назовите владельцев и добавьте проверку отказа.

Какие наши задачи должны остаться ручными, потому что требуют суждения или эмпатии? Обсудите. Ожидайте согласия по чувствительным вопросам и разногласий на границе. В продолжение запишите границу и кто может её менять.

Как мы сохраним навыки выполнять задачу вручную, если автоматизация недоступна? Спросите, когда в последний раз кто-то делал это вручную. Ожидайте «давно». В продолжение запланируйте периодическую репетицию.

Как мы используем время, которое освобождает автоматизация, и сказали ли мы об этом команде? Это строит доверие. Ожидайте неопределённости и некоторого страха. В продолжение договоритесь, на что пойдёт сэкономленное время, и скажите об этом открыто.

На практике: пример управления услугами

Национальный реестр записей о рождении, смерти и браке содержит небольшую ИТ-команду из десяти человек, поддерживающую 600 сотрудников. Руководитель предложил «автоматизировать всё возможное» и составил список из 120 задач-кандидатов. Руководитель услуг подозревает, что большинство не окупится, и просит ранжирование.

Команда две недели собирает данные. По шести месяцам обращений она обнаруживает, что 70 процентов объёма приходится на восемь типов задач, во главе с учётными записями для новых сотрудников, сбросами паролей, изменениями общих почтовых ящиков и подготовкой ежемесячных отчётов. Они оценивают часы в месяц по каждой и спрашивают вовлечённых людей, что идёт не так. Учётные записи для новых сотрудников, 40 часов в месяц, включают одиннадцать ручных шагов, из которых три дублируются, а два — согласования, которые никогда не отклонялись. Они упрощают до восьми шагов, прежде чем что-либо писать.

Автоматизируют поэтапно. Сначала скрипт собирает информацию и создаёт учётные записи, а техник проверяет результат. После двух месяцев запусков без ошибок скрипт выполняется без присмотра для стандартных ролей, с журналом и ежедневной проверкой, а техник занимается нестандартными ролями. Сбросы паролей переходят на маршрут самообслуживания системы идентификации, предоставленный вендором. Ежемесячный отчёт, отнимающий 12 часов, зависит от данных трёх систем в разных форматах, и команда решает не автоматизировать его, пока не исправлены источники данных.

Каждая автоматизация регистрируется с владельцем, репозиторием и откатом. Одного техника назначают ротироваться через ручную обработку каждый квартал, чтобы навык сохранялся. Руководитель соглашается, что сэкономленное время пойдёт на бэклог просроченных обновлений, и говорит об этом на собрании команды.

Что изменилось: освобождается около 70 часов в месяц, а у новых сотрудников в первый день есть рабочие учётные записи. Что остаётся трудным: скрипт приходится обновлять при каждом изменении структуры каталога, что случилось дважды в первом квартале; только два техника его понимают; а руководитель всё ещё спрашивает, почему остальные 110 кандидатов не сделаны. Руководитель услуг показывает данные и соглашается пересматривать список каждые полгода.

Четыре перспективы

Команды продукта и поставки

Стройте с расчётом на автоматизацию: предоставляйте чёткие интерфейсы, избегайте ручных шагов в выпуске и развёртывании и давайте руководства, которые другие могут превратить в скрипты. Владейте автоматизациями, которые создаёте.

Команды услуг и эксплуатации

Знайте свои повторяющиеся задачи, упрощайте их и автоматизируйте стабильные с журналами и откатом. Поддерживайте ручные навыки живыми и регистрируйте автоматизируемое с владельцем.

Руководство и управление

Просите свидетельства отдачи и меры контроля, а не число автоматизаций. Говорите, как будет использовано сэкономленное время. Финансируйте сопровождение и навыки наравне с созданием.

Клиенты и пользователи

Вы выигрываете от более быстрой и последовательной услуги и по-прежнему должны иметь возможность добраться до человека для исключений. Сообщайте поставщику, где автоматизация не справилась с вашим случаем.

Agile, ИИ, автоматизация и аналитика

Agile

Автоматизируйте небольшими приращениями вместе с теми, кто выполняет работу, и рассматривайте результаты. Считайте бэклог автоматизации частью бэклога улучшений. Предостережение: скорость поставки автоматизаций может обогнать способность их сопровождать; ограничивайте работу в процессе и выводите старые.

ИИ

ИИ может помогать находить кандидатов, кластеризуя задачи, составлять черновики скриптов и процедур и решать в пределах, что делать. Каждой автоматизации с помощью ИИ нужны те же владелец, тесты и меры контроля. Предостережение: сгенерированные скрипты могут содержать ошибки или небезопасные шаблоны; проверяйте и тестируйте их, как любой другой код. См. тему 5.1 — ИИ в управлении услугами.

Автоматизация

Эта тема — сама линза: выбирать, упрощать, строить с мерами контроля, владеть и пересматривать. Предостережение: автоматизация концентрирует власть и скрывает сложность; держите журналы читаемыми и давайте людям средства понимать её и останавливать.

Аналитика

Используйте данные обращений, анализ процессов, данные о времени и ошибках и результаты после автоматизации. Предостережение: оценки сэкономленных часов часто завышены, а показатели вроде «числа автоматизаций» поощряют объём; отслеживайте фактически освобождённое время, ошибки и сбои. См. тему 7.6 — Аналитика процессов и потока создания ценности и книгу Service Management Metrics.

Типичные виды сбоев

  • Автоматизация беспорядка. Путаница сохраняется. Сначала упрощайте.
  • Автоматизация по плану. Задачи выбирают ради счёта. Выбирайте по отдаче и нужде.
  • Осиротевшие скрипты. Никто ими не владеет и не понимает их. Регистрируйте, назначайте владельцев и пересматривайте.
  • Нет журналов или отката. Сбой нельзя отследить или отменить. Встройте и то и другое.
  • Навыки угасают. Никто не может сделать задачу вручную. Репетируйте и ротируйте.
  • Скрытая стоимость сопровождения. Автоматизация ломается при каждом изменении рядом. Учитывайте сопровождение в отдаче.
  • Страх и тайна. Сотрудники сопротивляются. Привлекайте их и говорите, как будут использованы выгоды.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Выбор Случайные скрипты Кандидаты перечислены Кандидаты выбираются по данным и отдаче Результаты сравниваются с оценками Портфель выбирается и перебалансируется по ценности и риску
Меры контроля Нет Некоторое журналирование Журналы, пределы и откат — стандарт Меры контроля проверяются и аудируются Меры контроля встроены в общие платформы
Владение Отдельные люди Известны авторы Реестр с владельцами, контролем версий и рассмотрением Сопровождение и сбои отслеживаются Владение координируется между командами
Люди Страх или пренебрежение Осведомлённость Навыки поддерживаются, выгоды разделяются Навыки и нагрузка пересматриваются Роли и навыки планируются вместе с автоматизацией по организации

Контрольный список

  • Мы выбрали кандидатов по данным об объёме, ошибках и трудозатратах.
  • Мы упростили каждый процесс до автоматизации.
  • Каждая автоматизация следует письменной проверенной процедуре.
  • Мы оценили отдачу, включая сопровождение.
  • У каждой автоматизации есть владелец, контроль версий и запись в реестре.
  • Журналы, пределы и откат встроены и проверены.
  • Мы поддерживаем ручные навыки для важных задач.
  • Мы сказали команде, как будет использовано сэкономленное время.

Запросы к ИИ

Проранжируйте кандидатов по данным обращений.

Here is a summary of ticket categories with counts per month and average handling time: [paste].
Compute hours per month for each category, rank them, and for the top eight list questions to ask about whether the task is stable, rules-based, and safe to automate. Do not recommend automating any.
List what you are unsure of.

Подготовьте черновик спецификации по процедуре.

Here is the written procedure for a task: [paste].
List the inputs, steps, decision points, outputs, and exceptions, and mark each step as "clear", "needs judgment", or "unclear". List questions to answer before automation. Do not write code.
List what you are unsure of.

Просмотрите автоматизацию на меры контроля.

Here is a description of an automation: what it does, what it can change, who owns it, how it runs: [paste].
List missing controls from this set: logging, limits, rollback, stop switch, owner, permissions, tests, and failure alerts, quoting the description for each you consider present. Do not assume controls that are not stated.
List what you are unsure of.

ИИ-навыки

  • workflow-analysis: используйте, чтобы анализировать шаги и ожидания до автоматизации.
  • roi-analysis: используйте, чтобы оценить отдачу от автоматизации.
  • runbook: используйте, чтобы написать процедуру, становящуюся спецификацией.
  • kaizen: используйте, чтобы упрощать до автоматизации.
  • value-stream-map: используйте, чтобы найти шаги, стоящие автоматизации.

Ключевые источники

  • PeopleCert, ITIL certification pages: описание руководства ITIL от владельца, включая «оптимизируйте и автоматизируйте».
  • Lisanne Bainbridge, "Ironies of Automation" (Automatica, 1983): классическая статья об автоматизации и человеческом навыке.
  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), глава об устранении рутины, свободно на sre.google.
  • Wikipedia, "Automation" и "Business process automation": обзоры идей.

Источники

  1. Automation — Wikipedia — https://en.wikipedia.org/wiki/Automation
  2. Business process automation — Wikipedia — https://en.wikipedia.org/wiki/Business_process_automation
  3. Robotic process automation — Wikipedia — https://en.wikipedia.org/wiki/Robotic_process_automation
  4. Ironies of Automation — Wikipedia — https://en.wikipedia.org/wiki/Ironies_of_Automation
  5. Process mining — Wikipedia — https://en.wikipedia.org/wiki/Process_mining
  6. Return on investment — Wikipedia — https://en.wikipedia.org/wiki/Return_on_investment
  7. Cost–benefit analysis — Wikipedia — https://en.wikipedia.org/wiki/Cost%E2%80%93benefit_analysis
  8. Technical debt — Wikipedia — https://en.wikipedia.org/wiki/Technical_debt
  9. Standard operating procedure — Wikipedia — https://en.wikipedia.org/wiki/Standard_operating_procedure
  10. Fail-safe — Wikipedia — https://en.wikipedia.org/wiki/Fail-safe
  11. Bus factor — Wikipedia — https://en.wikipedia.org/wiki/Bus_factor
  12. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/