Почему это важно

Самая частая причина разочарования в анализе — не метод. Это данные. Категории обращений изменили прошлой весной, и никто не записал, когда. Две системы обе утверждают, что хранят подразделение клиента, и расходятся. Метки времени в разных часовых поясах. Поле, выглядящее заполненным, в половине записей содержит «другое». Панель показывает снижение числа инцидентов, а причина оказывается в изменении журналирования, а не в улучшении услуги.

Те же проблемы вредят ИИ. Модель, обученная на неверно размеченных обращениях, усваивает метки. Помощник, обоснованный на устаревших статьях, цитирует их. Прогноз, построенный на неполной истории, переносит пробелы вперёд. По мере того как организации опираются на аналитику и ИИ, качество, владение и защита данных перестают быть техническим фоном и становятся услугой сами по себе.

Управление данными — практика управления данными как активом: решение, кто ответствен, что означает каждый термин, как проверяется качество, как данные перемещаются и откуда пришли, кто может ими пользоваться и когда они удаляются. Wikipedia описывает управление данными как общее управление доступностью, пригодностью, целостностью и безопасностью данных. Эта тема описывает его для данных об услугах практическими словами и показывает, как начать с малого. Оно лежит в основе аналитики (тема 7.1 — Аналитика для управления услугами), измерения (тема 7.3 — Измерение и отчётность), наблюдаемости (тема 7.4 — Наблюдаемость и телеметрия) и ИИ (тема 5.6 — Управление ИИ, риски и соответствие) и связано с данными о конфигурации (тема 4.4 — Управление конфигурациями). Эта тема не даёт юридических советов.

Основные понятия

Актив данных. Набор данных, ценный для организации, например история обращений, база данных конфигураций, данные мониторинга, результаты опросов или данные о затратах. Как и другие активы, он имеет владельца, стоимость, жизненный цикл и риски. См. тему 4.1 — Управление активами.

Владелец данных и распорядитель (steward). Владелец данных отвечает за набор данных: его назначение, качество и то, кто может им пользоваться. Распорядитель данных ежедневно следит за ним, занимаясь определениями, проблемами качества и запросами доступа. Распорядителей данных описывает Wikipedia. В небольших командах один человек может совмещать обе роли. Без названных людей никто не исправляет проблемы.

Определения данных и словарь. Простое изложение того, что значит каждое поле и термин, например «решено» или «крупный инцидент», с тем, как оно рассчитывается, и источником. Словари данных описывает Wikipedia. Определения не позволяют двум командам использовать одно слово для разных вещей. Записывайте изменения определений с датами, чтобы можно было интерпретировать тенденции.

Метаданные. Данные о данных: откуда они пришли, когда обновлялись, кто ими владеет, как классифицированы и что означают. Метаданные описывает Wikipedia. Каталог данных — доступный для поиска перечень наборов данных и их метаданных, помогающий людям находить данные и доверять им.

Качество данных. Пригодность к использованию, обычно описываемая измерениями, такими как точность, полнота, согласованность, своевременность и уникальность. Качество данных описывает Wikipedia. Качество относительно использования: категория обращений, достаточно хорошая для ежемесячной тенденции, может быть слишком грубой для маршрутизации. Измеряйте её на значимых полях и исправляйте причины в источнике. Очистка данных (data cleansing), описанная в Wikipedia, исправляет ошибки постфактум и не мешает им повторяться.

Источники плохого качества. Поля свободного текста, по-разному заполняемые разными людьми, значения по умолчанию, которые никогда не меняют, категории, растущие без обрезки, ручной ввод, пропускаемый под давлением, интеграции, теряющие или дублирующие записи, и изменения систем, меняющие смысл. Исправляйте их лучшими формами, валидацией, обучением и пересмотром интеграции, а не обвинением людей.

Происхождение (lineage и provenance). Запись о том, откуда пришли данные и что с ними происходило на пути к отчёту или модели. Происхождение данных описывает Wikipedia. Когда цифра подвергается сомнению, происхождение позволяет её проследить. Оно также показывает, какие отчёты затронуты при изменении источника.

Конвейеры данных и интеграция. Потоки, перемещающие данные между системами, часто описываемые в статье Wikipedia как извлечение, преобразование, загрузка (ETL), и хранилища, такие как хранилища данных и озёра данных, также описанные в Wikipedia. Конвейерам нужны владельцы, мониторинг и тесты, как любой производственной системе. См. тему 6.2 — Автоматизация рабочих процессов и оркестрация.

Время и идентичность. Два небольших вопроса вызывают большие неприятности. Меткам времени нужны единый часовой пояс и формат, как подсказывают статьи Wikipedia о метках времени и часовых поясах; смешанные пояса порождают загадочные пробелы и всплески. Идентификаторы людей, услуг и активов должны быть стабильными и общими для систем, чтобы записи можно было связывать. Управление основными данными (master data management), описанное в Wikipedia, — дисциплина поддержания таких базовых данных согласованными.

Классификация. Маркировка данных по чувствительности, например публичные, внутренние, конфиденциальные и ограниченные, с привязкой правил к каждому уровню. Классификацию данных описывает Wikipedia. Данные об услугах часто содержат личную информацию и сведения о безопасности, требующие защиты.

Конфиденциальность и защита. Персональные данные — информация, относящаяся к определимому лицу. Законы вроде Общего регламента по защите данных (GDPR) в Европейском союзе устанавливают правила о цели, минимизации, хранении и правах личности; персональные данные и GDPR описывает Wikipedia. Минимизация данных, описанная там, означает сбор и хранение только нужного. Приёмы, такие как псевдонимизация и анонимизация, описанные в Wikipedia, снижают риск, хотя хорошо их сделать трудно, а слабая анонимизация может быть обращена. Берите юридическую консультацию и консультацию по конфиденциальности.

Контроль доступа. Кто может видеть или менять какие данные и зачем. Где возможно, используйте роли, а не отдельных людей, и регулярно пересматривайте доступ. См. тему 3.13 — Управление информационной безопасностью и тему 3.6 — Управление запросами на обслуживание.

Хранение и удаление. Как долго данные хранятся и как они уничтожаются. Храните то, что нужно для эксплуатации, анализа и юридических обязательств, а остальное удаляйте. Хранение данных описывает Wikipedia. Старые данные увеличивают риск и стоимость, и системы ИИ могут на них учиться. Проверяйте юридические требования к хранению, применимые к вам.

Суверенитет данных. Данные могут подчиняться законам страны, где они хранятся или обрабатываются. Суверенитет данных описывает Wikipedia. Облачные услуги и услуги ИИ могут перемещать данные через границы; знайте, куда идут ваши.

Данные в ИИ. Данные, используемые для обучения, извлечения или запросов, требуют того же управления с дополнительной заботой: разрешение на использование, маркировка источника, проверки на предвзятость и дрейф и контроль над тем, что отправляется во внешние службы. См. тему 5.1 — ИИ в управлении услугами.

Форум управления и политика. Небольшая группа с полномочиями задавать стандарты, разрешать конфликты и приоритизировать работу с данными, и короткая политика, охватывающая владение, качество, классификацию, доступ, хранение и использование данных в ИИ. Держите её лёгкой и практичной.

Как вписываются линзы. Управление данными — основа линз аналитики и ИИ, а от него зависит и автоматизация. Гибкая практика предлагает улучшать качество данных небольшими шагами, движимыми вопросами, на которые людям действительно нужны ответы, с обратной связью от пользователей данных.

Лучшие практики

  1. Начинайте с самых важных наборов данных. Перечислите данные, стоящие за вашими ключевыми решениями, такие как обращения, конфигурация, мониторинг, опросы и затраты. Сначала управляйте ими.
  2. Назовите владельца и распорядителя каждого. Запишите их в каталоге с контактами. Сделайте их подотчётными за качество и доступ.
  3. Записывайте определения. Определите основные термины и поля простым языком с расчётом и источником. Записывайте, когда определения меняются.
  4. Измеряйте качество там, где это важно. Выберите несколько полей, определяющих решения, определите проверки и сообщайте результаты владельцам. Отслеживайте во времени.
  5. Исправляйте проблемы в источнике. Улучшайте формы, добавляйте валидацию, упрощайте категории и исправляйте интеграции. Очистка постфактум — временная мера.
  6. Стандартизируйте время и идентификаторы. Используйте один стандарт и формат времени и стабильные общие идентификаторы людей, услуг и активов.
  7. Ведите происхождение. Документируйте, откуда ключевые отчёты и модели получают данные и какие преобразования применяются. Обновляйте при изменении источников.
  8. Классифицируйте и защищайте. Помечайте данные по чувствительности, применяйте правила доступа и защиту и пересматривайте, у кого есть доступ. Убирайте персональные данные там, где они не нужны.
  9. Задайте хранение и удаляйте. Решите, как долго хранится каждый набор данных, и удаляйте или анонимизируйте после. Проверяйте применимые к вам правила.
  10. Управляйте данными, используемыми ИИ. Записывайте источники, разрешения и качество данных, используемых для обучения и извлечения, и контролируйте, что уходит во внешние службы.

Вопросы для обсуждения с командой

Какие наборы данных определяют наши важнейшие решения и кто владеет каждым? Перечислите их. Ожидайте пробелов во владении. В продолжение назовите владельца и распорядителя для трёх главных.

Какие термины мы по-разному используем в разных командах? Выберите «решено», «инцидент» или «клиент». Ожидайте разногласий. В продолжение напишите одно определение и кто решает.

Когда изменение определения или системы сломало тенденцию и заметили ли мы это в то время? Попросите примеры. Ожидайте «позже». В продолжение договоритесь о журнале изменений определений и источников.

Насколько хороши наши данные в полях, на которые мы больше всего полагаемся, и откуда мы это знаем? Возьмите поле, например категорию, и проверьте выборку из 50 записей. Ожидайте проблем. В продолжение выберите одну причину для исправления.

Какие персональные или чувствительные данные мы храним в системах услуг и как долго? Пройдите по основным системам. Ожидайте сюрпризов о вложениях и журналах чатов. В продолжение привлеките специалиста по конфиденциальности и договоритесь о правиле хранения для одной системы.

Какие данные мы отдаём инструментам ИИ и кто на это согласился? Перечислите применения. Ожидайте, что некоторые неформальны. В продолжение договоритесь о правиле, что можно использовать, и о реестре использования данных ИИ.

На практике: пример управления услугами

Цифровая команда национальной библиотеки хочет прогнозировать спрос и обучить модель для маршрутизации обращений. Аналитик данных начинает работу и обнаруживает, что историей обращений трудно пользоваться. Категории переименовывали дважды, а в категории «Другое» 35 процентов обращений. Метки времени из старого инструмента в местном времени, а из нового — во всемирном. Поле подразделения, взятое из кадровой системы, отличается от поля в системе идентификации примерно у 8 процентов пользователей. Ежемесячный отчёт показывает снижение инцидентов на четверть, но аналитик выясняет, что большую часть падения объясняет изменение способа объединения дубликатов инцидентов.

Руководитель службы решает относиться к данным обращений как к управляемому активу. Она называет владельцем данных себя, а распорядителем — опытного аналитика service desk. Одностраничный словарь определяет 12 важных полей, включая определение «решено» и дату его изменения. Команда сопоставляет старые категории с новыми, помечает разрыв в истории и добавляет правило валидации, не допускающее «Другое» без заметки свободным текстом. Еженедельное задание проверяет три показателя качества: долю обращений в «Другое», долю с отсутствующим подразделением и долю с метками времени вне ожидаемых диапазонов. Результаты публикуются для desk.

Специалист по конфиденциальности рассматривает набор данных и обнаруживает, что поля свободного текста и вложения содержат персональные данные граждан. Команда соглашается убрать вложения из копии для анализа, маскировать имена и адреса электронной почты в тексте перед использованием для моделирования и удалять обращения через семь лет в соответствии с политикой записей библиотеки. Реестр перечисляет каждое использование данных обращений ИИ и его согласование.

Что изменилось: аналитик может построить прогноз с известным разрывом и чистым рядом, а модель маршрутизации обучается на рассмотренных метках. Что остаётся трудным: маскирование свободного текста несовершенно, и часть персональных данных остаётся; кадровая система и система идентификации по-прежнему расходятся, а владельцы этих систем не согласились их сверять; а проверки качества зависят от небольшого числа сотрудников. Руководитель службы выносит расхождение данных на директора по информации и планирует расширить проверки на данные о конфигурации.

Четыре перспективы

Команды продукта и поставки

Проектируйте журналы, события и API вашего продукта с согласованными полями, метками времени и идентификаторами и документируйте их. Заранее сообщайте пользователям данных об изменениях.

Команды услуг и эксплуатации

Вводите данные тщательно и последовательно и сообщайте распорядителям о проблемах форм или категорий. Помогайте проверять качество и ведите записи об изменениях определений.

Руководство и управление

Назовите владельцев, финансируйте работу с данными и просите свидетельства качества данных, стоящих за решениями. Задайте правила конфиденциальности и использования ИИ. Не принимайте отчёты с неопределёнными терминами.

Клиенты и пользователи

Вы должны знать, какие данные о вас хранятся и зачем, и иметь возможность спрашивать об этом. Предоставляйте точную информацию и сообщайте поставщику, если записи кажутся неверными.

Agile, ИИ, автоматизация и аналитика

Agile

Улучшайте данные небольшими шагами, движимыми реальными вопросами: исправьте поле, блокирующее следующий анализ. Регулярно рассматривайте качество данных вместе с их пользователями. Предостережение: многолетняя программа по данным без видимых результатов теряет поддержку; поставляйте небольшие полезные выигрыши.

ИИ

ИИ может помогать находить проблемы качества, классифицировать данные, предлагать определения и маскировать персональные данные под проверкой. Данным, используемым ИИ, нужно собственное управление: проверки источника, разрешения, качества и дрейфа. Предостережение: маскирование на основе ИИ может пропустить персональные данные; проверяйте его и сохраняйте человеческую проверку для чувствительных наборов. См. тему 5.6 — Управление ИИ, риски и соответствие.

Автоматизация

Автоматизируйте проверки качества, фиксацию происхождения, метки классификации, правила хранения и пересмотры доступа, с владельцами исключений. Предостережение: автоматическая очистка может тихо менять данные; журналируйте изменения и сохраняйте оригиналы там, где это требуется. См. тему 6.2 — Автоматизация рабочих процессов и оркестрация.

Аналитика

Измеряйте качество ключевых полей, полноту, своевременность, долю наборов данных с владельцами и определениями и инциденты, вызванные проблемами данных. Предостережение: единая оценка качества может скрывать серьёзные дефекты в одном поле; сообщайте по полям и применениям. См. тему 7.3 — Измерение и отчётность и книгу Service Management Metrics.

Типичные виды сбоев

  • Нет владельца. Проблемы сохраняются. Назовите владельца и распорядителя.
  • Неопределённые термины. Команды спорят о числах. Пишите определения и записывайте изменения.
  • Качество проверено один раз. Данные разрушаются. Непрерывно отслеживайте ключевые поля.
  • Очистка как исправление. Ошибки повторяются. Исправляйте источник.
  • Смешанные часовые пояса и идентификаторы. Записи нельзя связать или упорядочить. Стандартизируйте.
  • Хранение всего. Риск и стоимость растут. Задайте хранение и удаляйте.
  • Неуправляемое использование данных ИИ. Чувствительные или плохие данные попадают в модели. Регистрируйте и пересматривайте применения.

Модель зрелости

Измерение Начальный Развивающийся Стандартизированный Управляемый Оркестрируемый
Владение и определения Неизвестно Есть владельцы основных наборов данных Владельцы, распорядители, словарь и каталог Определения и изменения управляются Управление координируется между командами и партнёрами
Качество Неизвестно Выборочные проверки Ключевые поля регулярно измеряются Улучшения качества прослеживаются до источников Качество непрерывно обеспечивается автоматизацией
Защита От случая к случаю Базовые правила доступа Правила классификации, доступа и хранения Соблюдение отслеживается и аудируется Защита встроена в конвейеры и инструменты
Использование в ИИ Не записано Осведомлённость Реестр и правила использования данных ИИ Использование пересматривается и проверяется на предвзятость и дрейф Данными ИИ управляют по системам и поставщикам

Контрольный список

  • У наших важнейших наборов данных есть названные владельцы и распорядители.
  • Ключевые термины и поля определены письменно, с датами изменений.
  • Мы измеряем качество на полях, определяющих решения.
  • Мы исправляем проблемы качества в источнике.
  • Часовые пояса, форматы и идентификаторы стандартизированы.
  • Мы знаем, откуда ключевые отчёты получают данные (происхождение).
  • Данные классифицированы, доступ контролируется, правила хранения существуют.
  • Реестр фиксирует, какие данные использует ИИ и кто согласился.

Запросы к ИИ

Составьте профиль набора данных.

Here is a sample of a dataset with field names, identifiers removed: [paste, 50–100 rows].
For each field, give the apparent meaning, type, share of missing or placeholder values, odd values, and a question for the data owner. Do not draw business conclusions.
List what you are unsure of.

Подготовьте черновик записи словаря данных.

Field: [name]. What I know about it: [source, how it is filled, how it is used].
Draft a dictionary entry with: plain-language definition, allowed values, how it is calculated or entered, source system, owner (only if stated), known issues, and date of last change (only if stated). Mark each item not given as [missing].
List what you are unsure of.

Найдите персональные данные в свободном тексте для проверки.

Here is a sample of ticket free text, already partially masked: [paste].
List items that look like personal data (names, emails, phone numbers, addresses, identifiers) that remain, quoting the exact text, and suggest categories of rules to catch them. Do not guess whether any is real.
List what you are unsure of.

ИИ-навыки

  • data-governance: используйте, чтобы задать владение, определения и правила для данных.
  • data-quality: используйте, чтобы определять и проверять качество ключевых полей.
  • data-pipeline: используйте, чтобы проектировать и документировать потоки данных.
  • legal-data-privacy-compliance: используйте, чтобы сформулировать вопросы о конфиденциальности для вашего юриста.
  • raci-matrix: используйте, чтобы назначить владение и распорядительство.

Ключевые источники

  • DAMA International, DAMA-DMBOK: Data Management Body of Knowledge: широкий справочник по управлению данными.
  • ISO/IEC 25012, модель качества данных: стандартный набор характеристик качества данных; читайте текущую редакцию у издателя.
  • Wikipedia, "Data governance" и "Data quality": обзоры практики и её измерений.
  • Wikipedia, "General Data Protection Regulation": предыстория одной важной правовой рамки (не юридический совет).

Источники

  1. Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
  2. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
  3. Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
  4. Data dictionary — Wikipedia — https://en.wikipedia.org/wiki/Data_dictionary
  5. Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
  6. Data lineage — Wikipedia — https://en.wikipedia.org/wiki/Data_lineage
  7. Data cleansing — Wikipedia — https://en.wikipedia.org/wiki/Data_cleansing
  8. Master data management — Wikipedia — https://en.wikipedia.org/wiki/Master_data_management
  9. Data classification — Wikipedia — https://en.wikipedia.org/wiki/Data_classification
  10. Personal data — Wikipedia — https://en.wikipedia.org/wiki/Personal_data
  11. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
  12. Data retention — Wikipedia — https://en.wikipedia.org/wiki/Data_retention