Почему это важно

Сервисные команды всегда к чему-то готовятся. Сколько обращений придёт в первую неделю нового семестра? Когда заполнится хранилище? Какие изменения, вероятно, вызовут инциденты? Сколько человек должно дежурить во время распродажи? Решения о штате, ёмкости и риске опираются на представления о будущем, высказывает их кто-либо или нет.

Предсказание делает эти представления явными и проверяемыми. Прогноз объёма обращений на следующий месяц с диапазоном можно сравнить с тем, что происходит, и улучшить. Модель, оценивающую риск изменения, можно сверить с изменениями, которые потерпели неудачу. При хорошем исполнении это заменяет интуицию свидетельствами. При плохом — заменяет интуицию ложной уверенностью: единое число с двумя знаками после запятой, произведённое моделью, которую никто не может объяснить и которой доверяют, потому что она выглядит научно.

Предсказания ошибаются по обычным причинам. Прошлое не содержало важной закономерности. Модель подгоняется под шум. Запуск, смена политики или сбой нарушают связь, которую выучила модель. Редкое событие прогнозируют инструментом, созданным для частых. Эта тема описывает основные виды прогнозирования и предсказания в управлении услугами, методы простыми словами и привычки, сохраняющие честность. Она опирается на аналитику (тема 7.1 — Аналитика для управления услугами) и планирование ёмкости (тема 3.11 — Доступность, емкость и производительность) и связана с AIOps (тема 5.2 — AIOps) и экономикой облака (тема 4.5 — Финансовое управление и FinOps).

Основные понятия

Прогнозирование и предсказание. Прогнозирование оценивает будущие значения величины во времени, например спрос в следующем месяце. Предсказание в более широком смысле оценивает неизвестное, например потерпит ли изменение неудачу. Прогнозирование и предиктивную аналитику описывает Wikipedia. Оба используют закономерности прошлых данных, и оба неопределённы.

Временные ряды. Данные, записанные через регулярные интервалы. Анализ временных рядов описывает Wikipedia. Многие сервисные величины, такие как ежедневное число обращений, — временные ряды с трендом (долгосрочный рост или падение), сезонностью (регулярные циклы, например недельные или годовые) и шумом. Сезонность описывает Wikipedia. Прогнозы должны учитывать все три.

Базовые линии. Простейший прогноз, который мог бы сработать: «следующая неделя будет как эта» или «этот месяц будет как тот же месяц прошлого года с поправкой на рост». Базовые линии удивительно трудно превзойти. Всегда сравнивайте изощрённый метод с базовой линией; если он не справляется заметно лучше, используйте базовую линию.

Классические методы. Приёмы вроде экспоненциального сглаживания и моделей авторегрессии — проинтегрированного скользящего среднего (ARIMA), которые описывает Wikipedia, справляются с трендами и сезонностью для многих рядов, и их часто трудно превзойти более сложными инструментами. Их также проще объяснить.

Методы машинного обучения. Методы, обучающиеся закономерностям по многим переменным, такие как деревья регрессии или нейронные сети, могут использовать дополнительную информацию, например запланированные события. Регрессионный анализ и машинное обучение в целом описывает Wikipedia. Они могут работать хорошо при обилии релевантных данных и переобучаться, когда их нет. См. тему 5.1 — ИИ в управлении услугами.

Переобучение и проверка. Модель, слишком точно соответствующая прошлому, включая его шум, плохо работает на новых данных. Переобучение описывает Wikipedia. Защита — отложить данные, которых модель не видела, в отдельные обучающую, проверочную и тестовую выборки, как описывает Wikipedia, и тестировать на более поздних периодах, чем использованные для построения модели. Для временных рядов это называется бэктестингом; его описывает Wikipedia.

Утечка. Использование в модели информации, которая не была бы доступна в момент предсказания, например поля, заполняемого после решения инцидента. Утечку в машинном обучении описывает Wikipedia. Она даёт впечатляющие результаты тестов и бесполезные прогнозы.

Неопределённость и интервалы. Прогноз — распределение возможностей, а не число. Интервал предсказания, описанный в Wikipedia, даёт диапазон, который, как ожидается, содержит исход с заявленной вероятностью. Сообщайте диапазоны, например «от 8 000 до 9 500 обращений, наиболее вероятно 8 700». Методы Монте-Карло, описанные в Wikipedia, имитируют много возможных будущих, чтобы показать диапазон.

Сценарии. Для того, что зависит от решений или событий, например запуска, сценарное планирование, описанное в Wikipedia, разрабатывает несколько правдоподобных историй и планирует для каждой, вместо одного прогноза. Используйте сценарии, когда будущее может отличаться по роду от прошлого.

Показатели точности. Распространённые показатели сравнивают прогнозы с исходами, например средняя абсолютная процентная ошибка, которую описывает Wikipedia, и доля исходов, попавших в заявленный диапазон. У каждого есть слабости: процентная ошибка нестабильна, когда значения близки к нулю. Выбирайте показатели, соответствующие тому, во сколько вам обходятся ошибки.

Классификация и оценки риска. Предсказание того, произойдёт ли что-то, например неудача изменения или нарушение целевого срока обращения, даёт оценку. Точность и полноту — два способа, которыми такие предсказания бывают неверны: ложные тревоги и пропуски — описывает Wikipedia. Редкие события усложняют: Wikipedia описывает ошибку базовой частоты, при которой кажущийся хорошим детектор даёт в основном ложные тревоги, когда событие редкое. Решите цены каждого вида ошибок до выбора порога.

Калибровка. Оценка риска откалибрована, если среди элементов с оценкой 20 процентов около 20 процентов действительно происходят. Калибровку в статистике описывает Wikipedia. Оценка, хорошо ранжирующая, но не откалиброванная, может ввести в заблуждение людей, читающих её как вероятность.

Дрейф. Отношения меняются по мере изменения услуг, пользователей и инструментов. Дрейф концепции описывает Wikipedia. Модель, работавшая в прошлом году, может отказать после запуска нового продукта. Отслеживайте точность во времени и переобучайте или перестраивайте, когда она падает.

Редкие и экстремальные события. Модели, обученные на обычной истории, плохо справляются с очень необычными событиями. Теорию чёрного лебедя — идею, что редкие события большого влияния непредсказуемы по обычным данным — описывает Wikipedia. Не полагайтесь на прогнозы для хвостовых рисков; используйте сценарии, стресс-тесты и репетиции. См. тему 3.12 — Управление непрерывностью услуг.

Очереди и ёмкость. Прогнозируемый спрос питает решения о ёмкости. Теорию массового обслуживания и закон Литтла, связывающие спрос, ёмкость и ожидание, описывает Wikipedia. См. тему 3.11 — Доступность, емкость и производительность и тему 2.3 — Поток и канбан.

Сначала решения. Прогноз полезен, только если он меняет решение. Прежде чем строить его, запишите решение, которое он информирует, пороги действия и что вы будете делать при каждом. Если ничего не изменится, не прогнозируйте.

Человеческое суждение. Люди знают о запусках, изменениях политик и событиях, которых не видела ни одна модель. Сочетайте выход модели с суждением, записывайте поправки и позднее проверяйте, помогли ли они.

Как вписываются линзы. Предсказание — обращённая в будущее сторона аналитики. Гибкая практика считает прогноз гипотезой, часто обновляемой. Приёмы ИИ расширяют то, что можно предсказать, под проверкой и с оговорками выше. Автоматизация может действовать по предсказаниям, например масштабировать заранее, с пределами.

Лучшие практики

  1. Сначала назовите решение и пороги. Запишите, какое действие запускает каждый диапазон прогноза и кто решает. Пропускайте прогнозы, которые ничего не изменят.
  2. Начинайте с базовой линии. Постройте простой прогноз, например по картине прошлого года с поправкой на рост, и измерьте его ошибку. Используйте как планку, которую нужно превзойти.
  3. Предпочитайте объяснимые методы. Используйте классические методы или простые модели, если сложные не оказываются заметно лучше на отложенных данных. Умейте сказать простыми словами, что определяет прогноз.
  4. Проверяйте честно. Отложите самый недавний период, тестируйте на нескольких периодах и проверяйте утечку. Сообщайте ошибку на данных, которых модель не видела.
  5. Показывайте диапазоны и сценарии. Давайте наиболее вероятное значение и правдоподобный диапазон. Используйте сценарии там, где события могут изменить картину. Не показывайте ложной точности.
  6. Включайте известные события. Добавляйте запуски, сроки, праздники и кампании от тех, кто о них знает. Записывайте поправки, внесённые суждением.
  7. Соотносите порог с ценой ошибок. Для оценок риска решите цену ложных тревог и пропусков, задайте порог соответственно и проверяйте калибровку.
  8. Мониторьте точность и дрейф. Сравнивайте каждый прогноз с исходом, отслеживайте ошибку во времени и переобучайте или перестраивайте, когда точность падает. Ведите журнал прогнозов, чтобы их можно было аудировать.
  9. Не доверяйте чрезмерно предсказаниям редких событий. Для тяжёлых, но маловероятных событий используйте сценарии, стресс-тесты и репетиции.
  10. Замыкайте петлю с решениями. Записывайте принятое решение и результат и используйте их для улучшения прогноза и правила решения.

Вопросы для обсуждения с командой

Какие решения мы сегодня принимаем на основании догадки о будущем и что мы делали бы иначе при лучшей? Перечислите их: штат, ёмкость, время релизов. Ожидайте нескольких. В продолжение выберите одно и напишите правило решения.

Насколько точными были наши три последних прогноза и как мы это выяснили? Спросите числа. Ожидайте, что никто не проверял. В продолжение сравните прошлые прогнозы с фактом и договоритесь вести журнал.

Какой самый простой прогноз мог бы сработать здесь и насколько лучше должна быть сложная модель, чтобы оправдать себя? Постройте базовую линию. Ожидайте, что она работает достойно. В продолжение задайте минимальное улучшение для принятия чего-то более сложного.

Какие события мы знаем, о которых модель, обученная на истории, не знала бы? Перечислите запуски, сроки и изменения политик. Ожидайте многих. В продолжение решите, как их включить: как входы или как поправки.

Как использовалась бы оценка риска для изменений и какова цена ложной тревоги по сравнению с пропуском? Обсудите конкретно. Ожидайте разных мнений. В продолжение договоритесь о пороге и пересмотре результатов первого месяца.

Где ИИ мог бы помочь нам прогнозировать или предсказывать и как мы узнали бы, что он ошибся? ИИ может подгонять сложные закономерности и также выдумывать их. Спросите сравнение с базовыми линиями и план мониторинга дрейфа. В продолжение запустите прогноз ИИ параллельно с текущим методом на квартал.

На практике: пример управления услугами

Служба поддержки национального агентства студенческих кредитов тиха большую часть года и перегружена в две недели перед ежегодным крайним сроком подачи заявок. До сих пор руководитель службы комплектовал пик, вспоминая опыт прошлого года и добавляя запас. Два года назад службе не хватило персонала, а в прошлом году она перерасходовала на временных операторов.

Аналитику услуг, которую просят улучшить прогноз, начинает с решения: сколько операторов нанять за шесть недель, шагами по пять, с окончательной корректировкой за две недели. Она строит базовую линию: для каждого дня за последние четыре года — число обращений относительно числа дней до срока, масштабированное на число уже поданных заявок. На отложенных данных предыдущего года ошибка базовой линии в неделю пика составляет 18 процентов. Она пробует более сложную модель, добавляющую погоду, упоминания в соцсетях и день недели. На том же отложенном годе она улучшает ошибку до 15 процентов, но на предыдущем году хуже базовой линии, и никто не может объяснить почему. Она выбирает базовую линию с простой поправкой на число новых заявителей и показывает руководителю диапазон: от 11 000 до 14 500 обращений в неделю пика, наиболее вероятно 12 500.

Она спрашивает бизнес об известных событиях. Новая онлайн-форма запустится за две недели до срока, что может увеличить или уменьшить число обращений. Она строит два сценария: один, где форма сокращает обращения на 15 процентов, и другой, где добавляет 10 процентов из-за путаницы. Руководитель нанимает на середину диапазона и держит резервный пул операторов на верхний сценарий. Аналитик записывает прогноз, сценарии и решение.

Что изменилось: фактическое число обращений в неделю пика — 13 800, в пределах диапазона, и служба выполняет целевой показатель без перерасхода. Что остаётся трудным: форма действительно добавила путаницу, что предвидел только верхний сценарий; прогноз зависит от данных о заявителях, приходящих с опозданием; а руководитель старшего звена попросил единое число, которое аналитик дала вместе с диапазоном. Она записывает ошибку — 10 процентов относительно наиболее вероятного значения — и планирует сравнить её с базовой линией и с ошибкой следующего года.

Четыре перспективы

Команды продукта и поставки

Рано сообщайте аналитикам о запусках, изменениях и кампаниях, поскольку они сдвигают спрос и риск. Предоставляйте данные, нужные предсказаниям, и используйте оценки риска как поводы для вопросов, а не как приговоры.

Команды услуг и эксплуатации

Используйте прогнозы для планирования штата и ёмкости с запасом на верхний сценарий. Сообщайте, где прогнозы были неверны и почему, чтобы метод улучшался.

Руководство и управление

Просите решение, базовую линию, диапазон и историю точности. Принимайте неопределённость. Финансируйте данные и время на проверку прогнозов. Не требуйте единых чисел.

Клиенты и пользователи

Вы выигрываете, когда поставщики готовятся к пикам и рискам. Сообщайте поставщику о ваших собственных планах, которые могут повлиять на спрос, например о кампаниях, и о проблемах, указывающих, что прогноз был неточен.

Agile, ИИ, автоматизация и аналитика

Agile

Относитесь к прогнозам как к гипотезам, часто обновляйте их и проверяйте после каждого периода. Привлекайте заинтересованные стороны к допущениям. Предостережение: постоянное перепрогнозирование без записи прежних прогнозов скрывает, насколько они ошибались.

ИИ

Методы ИИ могут моделировать многие переменные и неструктурированные сигналы и готовить черновики резюме прогнозов под проверкой. Назовите владельца, сравнивайте с базовыми линиями и отслеживайте дрейф. Предостережение: прогноз ИИ без диапазона и без теста на отложенных данных — догадка с отполированной поверхностью. См. тему 5.1 — ИИ в управлении услугами.

Автоматизация

Автоматизируйте сбор данных, запуски прогнозов и плановые оповещения, а где безопасно — действия вроде масштабирования заранее под ожидаемую нагрузку, с пределами. Предостережение: автоматическое действие по неверному прогнозу может потратить деньги или причинить вред; задайте границы и пересматривайте. См. тему 6.1 — Стратегия автоматизации.

Аналитика

Измеряйте ошибку прогноза, покрытие интервалов, калибровку оценок риска и ценность принятых решений. Предостережение: модель с малой средней ошибкой может отказывать на пиках, которые важнее всего; оценивайте там, где ошибки стоят дороже всего. См. книгу Service Management Metrics и тему 7.1 — Аналитика для управления услугами.

Типичные виды сбоев

  • Прогнозы, ничего не меняющие. От них не зависит ни одно решение. Начинайте с решения.
  • Сложная модель без базовой линии. Она не лучше простой. Всегда сравнивайте.
  • Переобучение и утечка. Отличные результаты тестов, плохая реальность. Откладывайте более поздние данные и проверяйте входы.
  • Единые числа. Ложная точность. Показывайте диапазоны и сценарии.
  • Игнорирование известных событий. Модель упускает запуск. Добавляйте то, что знают люди.
  • Нет мониторинга. Дрейф остаётся незамеченным. Отслеживайте точность во времени.
  • Доверие предсказаниям редких событий. Хвостовой риск неверно оценен. Используйте сценарии и репетиции.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Решения и базовые линии Догадки Некоторые прогнозы Прогнозы привязаны к названным решениям, с базовыми линиями Ценность прогнозов пересматривается Прогнозы интегрированы в планирование по услугам
Метод и проверка Не проверяется Базовые методы Объяснимые методы, бэктестинг и проверка утечки Методы сравниваются и улучшаются Методы выбираются и мониторятся по портфелю
Неопределённость Единые числа Некоторые диапазоны Диапазоны и сценарии — стандарт Покрытие интервалов и калибровка измеряются Неопределённость используется в автоматизированных решениях с пределами
Мониторинг Нет Случайный пересмотр Точность и дрейф отслеживаются Переобучение и перестройка запускаются свидетельствами Непрерывная оценка по моделям

Контрольный список

  • Каждый прогноз называет решение и пороги, которые он информирует.
  • Мы сравниваем каждую модель с простой базовой линией.
  • Мы проверяем на отложенных более поздних данных и проверяем утечку.
  • Мы сообщаем диапазоны и используем сценарии, где события могут изменить картину.
  • Известные события от бизнеса включены или записаны как поправки.
  • У оценок риска есть порог, заданный ценой ложных тревог и пропусков, и мы проверяем калибровку.
  • Мы журналируем прогнозы, сравниваем их с исходами и отслеживаем дрейф.
  • Мы используем сценарии и репетиции для редких тяжёлых событий.

Запросы к ИИ

Постройте базовую линию по данным.

Here is a monthly count of [quantity] for the last [number] years: [paste].
Describe the trend and seasonal pattern, produce a simple baseline forecast for the next [period] (state the method and show the calculation), and give an approximate range based on the spread in past years. Do not use any method that needs data I have not provided.
List what you are unsure of.

Проверьте отчёт о прогнозе.

Here is a forecast report and how it was built: [paste].
List problems: no baseline comparison, no validation on held-back data, possible leakage, single numbers without ranges, missing known events, and claims that are stronger than the evidence. Quote the text for each. Do not redo the forecast.
List what you are unsure of.

Подготовьте черновик сценариев.

The decision: [describe]. The uncertain event: [describe]. What we know: [list].
Draft three scenarios (low, middle, high) with the assumption behind each, what we would see early if it were happening, and how our plan would differ. Do not assign probabilities.
List what you are unsure of.

ИИ-навыки

  • demand-forecasting: используйте, чтобы оценивать будущий спрос с заявленной неопределённостью.
  • capacity-planning: используйте, чтобы превращать прогнозы в решения о ёмкости.
  • trend-analysis: используйте, чтобы анализировать тенденции и сезонность.
  • statistical-analysis: используйте, чтобы выбирать и проверять методы.
  • budget-forecasting: используйте, чтобы прогнозировать стоимость с допущениями.

Ключевые источники

  • Rob J. Hyndman and George Athanasopoulos, Forecasting: Principles and Practice (свободно онлайн на otexts.com/fpp3): ясный практический текст о методах прогнозирования.
  • Nate Silver, The Signal and the Noise (2012): читаемый рассказ о предсказании и его ловушках.
  • Wikipedia, "Forecasting" и "Overfitting": обзоры области и её главной ловушки.
  • Wikipedia, "Prediction interval": как выражать неопределённость.

Источники

  1. Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
  2. Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
  3. Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
  4. Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
  5. Exponential smoothing — Wikipedia — https://en.wikipedia.org/wiki/Exponential_smoothing
  6. Autoregressive integrated moving average — Wikipedia — https://en.wikipedia.org/wiki/Autoregressive_integrated_moving_average
  7. Overfitting — Wikipedia — https://en.wikipedia.org/wiki/Overfitting
  8. Backtesting — Wikipedia — https://en.wikipedia.org/wiki/Backtesting
  9. Prediction interval — Wikipedia — https://en.wikipedia.org/wiki/Prediction_interval
  10. Scenario planning — Wikipedia — https://en.wikipedia.org/wiki/Scenario_planning
  11. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
  12. Base rate fallacy — Wikipedia — https://en.wikipedia.org/wiki/Base_rate_fallacy