Наблюдаемость и телеметрия
Наблюдаемость — способность задавать работающей системе новые вопросы и получать ответы из данных, которые она выдаёт: метрик, журналов и трассировок с согласованным контекстом; она окупается, когда телеметрия заложена в проект, стандартизирована на открытых форматах, держится на доступной стоимости и используется для понимания опыта пользователей, а не только состояния машин.
Почему это важно
Мониторинг отвечает на вопросы, придуманные заранее. Работает ли услуга? Не заполнен ли диск? Не выше ли задержка двух секунд? Это хорошие вопросы, и они ловят сбои, которые вы уже видели. Но современные услуги отказывают по-новому. Изменение в одном компоненте замедляет запрос в другом. Необычные данные одного клиента запускают редкий путь. Зависимость тремя слоями ниже деградирует, и ни у кого нет для неё панели.
Когда приходит новый сбой, команде нужно задавать вопросы, которых никто не ожидал: какие запросы медленны, для каких пользователей, через какие услуги, с какого релиза? Если система выдаёт богатые связанные данные, команда может пройти по следу. Если нет, они гадают, добавляют журналирование, переразвёртывают и ждут, пока сбой не случится снова. Wikipedia описывает наблюдаемость в программном обеспечении как способность понимать внутреннее состояние системы по её внешним выходам — идею, заимствованную из теории управления.
Практическая работа — в телеметрии: данных, которые системы выдают о себе. Хорошая телеметрия спроектирована, согласована и связана, так что жалобу пользователя можно проследить до запроса, запрос — до услуг, которых он касался, а медлительность — до конкретного вызова. Эта тема описывает основные виды телеметрии, стандарты, делающие их переносимыми, и сопутствующие затраты и риски. Она опирается на мониторинг (тема 3.10 — Мониторинг и управление событиями) и связана с SRE (тема 2.6 — Инженерия надежности сайтов), AIOps (тема 5.2 — AIOps) и управлением данными (тема 7.2 — Основы данных и управление данными).
Основные понятия
Телеметрия. Данные, собираемые с системы и отправляемые туда, где их можно исследовать. Телеметрию вообще описывает Wikipedia. В программном обеспечении основные сигналы — метрики, журналы и трассировки, а также новые, такие как профили и события.
Метрики. Числа, измеряемые во времени, такие как частота запросов, частота ошибок, задержка, использование памяти и глубина очереди. Метрики дёшево хранить, и они хороши для тенденций, оповещений и панелей. Они резюмируют, поэтому теряют детали об отдельных запросах. Базы данных временных рядов, описанные в Wikipedia, хранят их эффективно; Prometheus — широко используемый пример с открытым кодом.
Журналы. Записи отдельных событий с метками времени, например сообщения об ошибке или завершённой транзакции. Журналирование в вычислениях описывает Wikipedia. Журналы хранят детали, они объёмны, а их хранение и поиск дороги. Структурированные журналы с согласованными именованными полями вместо свободного текста легче запрашивать и связывать с другими сигналами.
Трассировки. Запись пути одного запроса через части распределённой системы, показывающая, через какие услуги он прошёл и сколько времени занял каждый. Трассировку в программном обеспечении описывает Wikipedia. Трассировки отвечают на вопрос «куда ушло время?» в системах, построенных из многих служб, таких как микросервисы, которые также описывает Wikipedia.
Контекст и корреляция. Три сигнала вместе делает мощными общий контекст: идентификатор, связывающий строку журнала с трассировкой и запросом пользователя, и метки, такие как услуга, версия и среда, на всём. Без общего контекста у вас три кучи данных. С ним вы можете перейти от медленного запроса в метрике к трассировке и затем к строке журнала, которая это объясняет.
Оснащение (instrumentation). Добавление кода, производящего телеметрию. Оснащение в программировании описывает Wikipedia. Оно может быть автоматическим, через библиотеки и агентов, или ручным, когда разработчики добавляют сигналы, важные для бизнеса, например «заказ оформлен». Оснащайте то, что делают пользователи, а не только то, что делают машины.
OpenTelemetry и открытые стандарты. OpenTelemetry — проект с открытым кодом под Cloud Native Computing Foundation (который описывает Wikipedia), предоставляющий общие форматы и инструменты для выдачи метрик, журналов и трассировок независимо от инструмента, который их хранит и анализирует. Текущее состояние проверьте на его собственном сайте. Цель — позволить собирать телеметрию один раз и отправлять её на любой совместимый бэкенд, снижая привязку. Открытые стандарты и привязку к вендору в общих чертах описывает Wikipedia. См. тему 3.14 — Управление поставщиками.
Мониторинг и наблюдаемость. Мониторинг следит за известными условиями и оповещает; наблюдаемость поддерживает исследование неизвестных. Они дополняют друг друга: оповещения говорят, что что-то не так, исследование говорит почему. См. тему 3.10 — Мониторинг и управление событиями.
Индикаторы уровня услуги из телеметрии. SLI, такие как доля запросов, успешных за заданное время, вычисляются из телеметрии. Определяйте их с точки зрения пользователя и измеряйте там, где запрос пользователя входит в систему. См. тему 2.6 — Инженерия надежности сайтов и статью Wikipedia о целевых уровнях услуг.
Телеметрия пользователей и бизнеса. Мониторинг реальных пользователей и синтетический мониторинг, описанные в Wikipedia, показывают опыт снаружи: время загрузки страниц, успех пути, ошибки в браузерах и приложениях. Бизнес-события, такие как регистрации и платежи, связывают техническое здоровье с результатами. См. тему 7.7 — Аналитика опыта и настроений.
Кардинальность и стоимость. Кардинальность — число различных значений метки. Метрика, помеченная идентификатором пользователя, имеет огромную кардинальность и может перегрузить хранилище метрик. Кардинальность в моделировании данных описывает Wikipedia. Объём телеметрии растёт с трафиком и детализацией, а вместе с ним растёт стоимость хранения и обработки. Решите, что хранить с полной детализацией, что семплировать и что агрегировать.
Семплирование. Сохранение лишь доли трассировок или журналов. Семплирование в статистике описывает Wikipedia. Семплирование сокращает затраты и может скрыть редкие события; рассмотрите сохранение всех ошибок и медленных запросов и семплирование нормальных.
Хранение. Как долго хранится телеметрия. Данные высокой детализации храните недолго, агрегаты — дольше. Хранение влияет на стоимость, расследование и конфиденциальность. См. тему 7.2 — Основы данных и управление данными.
Конфиденциальность и безопасность в телеметрии. Журналы и трассировки могут содержать персональные данные, учётные данные и секреты — случайно или по замыслу. Персональные данные описывает Wikipedia. Очищайте или избегайте чувствительных полей в источнике, контролируйте доступ и задавайте хранение. Телеметрия также источник данных для безопасности. См. тему 3.13 — Управление информационной безопасностью.
Наблюдаемость для ИИ. Системам ИИ нужна собственная телеметрия: входы, выходы, задержка, стоимость, частота ошибок и отказов, обратная связь пользователей и сигналы дрейфа. Записывайте достаточно, чтобы расследовать неверный ответ, заботясь о записываемых данных. См. тему 5.1 — ИИ в управлении услугами.
Платформа и владение. Многие организации ведут общую платформу телеметрии со стандартами именования, маркировки и хранения и командами, владеющими сигналами своих услуг. Платформенная команда предоставляет инструменты и рекомендации; сервисные команды владеют тем, что выдают, и тем, как этим пользуются.
Как вписываются линзы. Наблюдаемость — база данных для аналитики и AIOps. Гибкая практика считает оснащение частью определения готовности. Автоматизация использует телеметрию для масштабирования и устранения.
Лучшие практики
- Оснащайте по ходу создания. Считайте телеметрию частью функции. Включайте её в определение готовности и рассматривайте вместе с проектом.
- Стандартизируйте имена и контекст. Договоритесь об именах услуг, наборах меток, единицах и идентификаторе запроса, проходящем через каждую услугу. Документируйте и проверяйте в конвейере.
- Выдавайте структурированные журналы. Используйте согласованные именованные поля, включайте идентификатор запроса и держите сообщения короткими. Избегайте записи секретов и ненужных персональных данных.
- Трассируйте важные пути. Оснастите основные пути пользователей и вызовы между услугами и передавайте контекст через каждый переход, включая очереди и внешние вызовы.
- Определяйте индикаторы с точки зрения пользователя. Вычисляйте SLI из телеметрии в точке контакта с пользователем и добавляйте бизнес-события, показывающие, добились ли пользователи того, зачем пришли.
- Используйте открытые форматы. Предпочитайте открытые стандарты выдачи телеметрии, чтобы менять бэкенды без повторного оснащения. Проверяйте поддержку на ваших платформах.
- Осознанно управляйте стоимостью. Задайте бюджеты на телеметрию, избегайте меток с высокой кардинальностью, семплируйте нормальный трафик, храните ошибки и медленные запросы и разделяйте хранение по уровням.
- Защищайте телеметрию. Очищайте чувствительные данные в источнике, ограничивайте доступ и применяйте правила хранения. Мониторьте доступ к хранилищам телеметрии.
- Делайте её пригодной для использования. Дайте командам общие панели, сохранённые запросы и обучение, как расследовать. Связывайте оповещения с соответствующей телеметрией и руководствами.
- Пересматривайте телеметрию после инцидентов. Спросите, чего вы не могли увидеть во время инцидента, и добавьте это. Убирайте сигналы, которыми никто не пользуется.
Вопросы для обсуждения с командой
Что мы хотели узнать во время последнего инцидента, но не смогли выяснить? Спросите исполнителей. Ожидайте пробелов в трассировках, контексте или данных уровня пользователя. В продолжение выберите один пробел и добавьте сигнал.
Можем ли мы проследить запрос одного пользователя через все услуги, которых он касается? Попробуйте с реальным запросом. Ожидайте разрывов на очередях и внешних вызовах. В продолжение пропустите идентификатор через первый разрыв.
Что мы журналируем, чего не следует, и чего не журналируем, что следовало бы? Посмотрите выборку журналов. Ожидайте секретов, персональных данных и шума. В продолжение договоритесь о правиле и очистке.
Сколько мы тратим на телеметрию и что за это получаем? Попросите число и крупнейшие источники. Ожидайте сюрпризов. В продолжение выберите самый дорогой и наименее используемый сигнал для сокращения или семплирования.
Насколько мы привязаны к текущему инструменту телеметрии и что потребовалось бы для смены? Оцените. Ожидайте «много». В продолжение выберите одну услугу для оснащения по открытому стандарту.
Какую телеметрию производят наши функции ИИ и могли бы мы расследовать неверный ответ по ней? Спросите. Ожидайте минимальных записей. В продолжение договоритесь, что записывать, с пределами конфиденциальности, и попробуйте расследование.
На практике: пример управления услугами
Общедоступный API национальной метеорологической службы обслуживает несколько миллионов запросов в день через восемь внутренних услуг. Пользователи жалуются на редкие медленные ответы для определённых местоположений. Мониторинг показывает, что API в среднем укладывается в целевую задержку, а каждая услуга по отдельности выглядит здоровой. Дежурный инженер два дня гоняется за проблемой.
Платформенная команда переходила на оснащение OpenTelemetry. На шлюзе API и четырёх из восьми услуг запросы несут идентификатор трассировки, а каждая услуга записывает отрезки (spans) с таймингами. С трассировками инженер фильтрует медленные запросы за последнюю неделю и видит, что почти все они проходят через один и тот же вызов: поиск в службе географических данных для мест с необычными символами в названиях, занимающий в десять раз больше обычного. Остальные четыре услуги ещё не оснащены, но разрыв теперь достаточно узок, чтобы исследовать вручную. Причина — отсутствующий индекс базы данных для этих запросов, и исправление занимает час.
Команда пересматривает затраты. Расходы на телеметрию выросли на 40 процентов за шесть месяцев, в основном из-за метки на метрике, включающей запрошенное местоположение, у которой сотни тысяч значений. Они убирают метку, сохраняют местоположение в трассировках и журналах и семплируют 5 процентов обычных трассировок, сохраняя все ошибки и медленные запросы. Очистка удаляет IP-адреса из журналов через 24 часа, после того как специалист по конфиденциальности отмечает, что в некоторых юрисдикциях они считаются персональными данными.
Команда также добавляет бизнес-сигнал: счётчик вызовов API, вернувших пустой результат, о чём пользователи раньше сообщали как о «нет данных». Он показывает закономерность после каждого обновления модели.
Что изменилось: расследования занимают часы вместо дней, а затраты падают на треть. Что остаётся трудным: у четырёх услуг всё ещё нет трассировок, две принадлежат другому агентству; правило семплирования уже скрыло редкую ошибку, появившуюся только в несемплированном трафике и найденную в журнале; а инженерам нужна практика, чтобы хорошо пользоваться инструментами трассировки. Команда назначает учебную сессию и вводит правило сохранять все трассировки с любой ошибкой.
Четыре перспективы
Команды продукта и поставки
Встраивайте телеметрию в функции: согласованные имена, идентификаторы запросов, структурированные журналы, отрезки на ключевых путях и бизнес-события. Избегайте секретов в сигналах и рассматривайте телеметрию при проектировании.
Команды услуг и эксплуатации
Используйте телеметрию для расследования, а не только для оповещения. Держите панели, запросы и руководства связанными и сообщайте разработчикам, чего вы не могли увидеть. Следите за стоимостью и качеством телеметрии.
Руководство и управление
Финансируйте платформу, стандарты и обучение. Просите свидетельства, что телеметрия сокращает расследования и отражает опыт пользователей. Задайте бюджеты и правила конфиденциальности и предпочитайте открытые стандарты.
Клиенты и пользователи
Вы выигрываете, когда поставщик быстро прослеживает вашу проблему до причины. Давайте подробности при сообщении о проблеме, такие как время и что вы делали, помогающие найти ваш запрос.
Agile, ИИ, автоматизация и аналитика
Agile
Добавляйте оснащение небольшими шагами с каждой функцией и уточняйте после каждого инцидента. Рассматривайте панели вместе с командой и убирайте те, которыми никто не пользуется. Предостережение: добавление телеметрии в конце порождает пробелы; включайте её в определение готовности.
ИИ
ИИ может резюмировать трассировки и журналы, группировать аномалии и отвечать на вопросы о телеметрии, с владельцами и проверками. Функциям ИИ тоже нужна собственная телеметрия. Предостережение: анализ ИИ зависит от качества и контекста данных; плохие метки дают плохие выводы. См. тему 5.2 — AIOps.
Автоматизация
Автоматизируйте оснащение там, где позволяют библиотеки, обеспечивайте стандарты имён и меток в конвейере и используйте телеметрию для масштабирования и устранения с пределами. Предостережение: автоматизация, запускаемая шумной телеметрией, может давать сбои; проверяйте пороги и добавляйте пределы. См. тему 6.6 — Автоматизация runbook и автоматическое устранение сбоев.
Аналитика
Используйте телеметрию для SLI, тенденций, ёмкости и опыта пользователей, а также для стоимости самой телеметрии. Предостережение: семплирование и агрегация меняют то, что данные могут показать, а метки с высокой кардинальностью могут искажать или ломать системы; отмечайте пределы в отчётах. См. тему 7.1 — Аналитика для управления услугами и книгу Service Management Metrics.
Типичные виды сбоев
- Три кучи данных. Метрики, журналы и трассировки нельзя связать. Делитесь идентификаторами и метками.
- Телеметрия как запоздалая мысль. В инцидентах появляются пробелы. Оснащайте вместе с функцией.
- Метки с высокой кардинальностью. Страдают затраты и производительность. Ограничьте метки и храните детали в трассировках и журналах.
- Секреты и персональные данные в журналах. Чувствительные данные утекают. Очищайте в источнике и контролируйте доступ.
- Привязка к одному инструменту. Смена дорога. Используйте открытые стандарты.
- Всё хранится вечно. Стоимость растёт. Разделяйте хранение по уровням и семплируйте.
- Панели, которыми никто не пользуется. Усилия впустую. Обрезайте и связывайте с решениями.
Модель зрелости
| Измерение | Начальный | Развивающийся | Стандартизированный | Управляемый | Оркестрируемый |
|---|---|---|---|---|---|
| Охват | Метрики инфраструктуры | Ключевые услуги с метриками и журналами | Метрики, журналы и трассировки с общим контекстом на ключевых путях | Охват пересматривается после инцидентов | Охват согласован по услугам и поставщикам |
| Стандарты | Нет | Местные соглашения | Согласованы имена, метки и открытые форматы | Стандарты проверяются в конвейере | Стандарты общие и развиваются вместе с платформой |
| Стоимость и хранение | Не управляется | Осведомлённость | Бюджеты, семплирование и хранение по уровням | Стоимость сигнала и ценность пересматриваются | Стоимость и ценность оптимизируются непрерывно |
| Защита | Неясна | Базовый контроль доступа | Правила очистки, доступа и хранения | Соблюдение отслеживается | Меры контроля встроены в сбор и хранение |
Контрольный список
- Телеметрия входит в наше определение готовности.
- У нас есть согласованные имена, метки, единицы и идентификатор запроса, проходящий через услуги.
- Журналы структурированы и не содержат секретов и ненужных персональных данных.
- Ключевые пути пользователей трассируются от начала до конца.
- SLI вычисляются из телеметрии в точке контакта с пользователем.
- Мы используем открытые форматы выдачи телеметрии.
- У нас есть бюджет на телеметрию с семплированием и хранением по уровням.
- Мы пересматриваем, чего не могли увидеть, после каждого инцидента.
Запросы к ИИ
Найдите пробелы телеметрии по инциденту.
Here is the timeline of an incident and notes on what responders tried to find out: [paste].
List each question the responders could not answer, what signal would have answered it (metric, log, trace, user data), and a question for the owning team. Do not assume any signal exists.
List what you are unsure of.
Просмотрите выборку журналов на чувствительные данные.
Here is a sample of log lines from our service: [paste, already partially scrubbed].
List any content that looks like secrets, personal data, or internal details, quoting the exact text, and suggest categories of scrub rules. Do not guess whether any is real.
List what you are unsure of.
Предложите стандарт имён и меток.
Our services: [list]. Our environments: [list]. Our teams: [list]. What we want to be able to filter by: [list].
Draft a one-page standard for service names, label keys, allowed values, and request identifiers, with examples. Warn about labels that could have very many distinct values. Do not name a vendor.
List what you are unsure of.
ИИ-навыки
- anomaly-analysis: используйте, чтобы исследовать необычные закономерности в телеметрии.
- data-pipeline: используйте, чтобы проектировать, как телеметрия перемещается и хранится.
- data-governance: используйте, чтобы задать правила конфиденциальности, хранения и доступа.
- key-risk-indicators: используйте, чтобы выбирать сигналы раннего предупреждения.
- performance-testing: используйте, чтобы проверять задержку и ёмкость с помощью телеметрии.
Ключевые источники
- OpenTelemetry (opentelemetry.io): открытый стандарт и инструменты для метрик, журналов и трассировок.
- Charity Majors, Liz Fong-Jones, and George Miranda, Observability Engineering (2022): практическое руководство по подходу.
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), глава о мониторинге, свободно на sre.google.
- Wikipedia, "Observability (software)" и "Telemetry": обзоры идей.
Источники
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Logging (computing) — Wikipedia — https://en.wikipedia.org/wiki/Logging_(computing)
- Tracing (software) — Wikipedia — https://en.wikipedia.org/wiki/Tracing_(software)
- Time series database — Wikipedia — https://en.wikipedia.org/wiki/Time_series_database
- Prometheus (software) — Wikipedia — https://en.wikipedia.org/wiki/Prometheus_(software)
- Cloud Native Computing Foundation — Wikipedia — https://en.wikipedia.org/wiki/Cloud_Native_Computing_Foundation
- Instrumentation (computer programming) — Wikipedia — https://en.wikipedia.org/wiki/Instrumentation_(computer_programming)
- Cardinality (data modeling) — Wikipedia — https://en.wikipedia.org/wiki/Cardinality_(data_modeling)
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- OpenTelemetry — Cloud Native Computing Foundation — https://opentelemetry.io