데이터 기반과 데이터 거버넌스
좋은 분석과 안전한 AI는 정의되고, 소유되고, 정확하고, 추적 가능하고, 보호되고, 필요한 기간만 보관되는 서비스 데이터 위에 서 있습니다. 데이터 거버넌스는 중요한 데이터 집합마다 이름 있는 오너, 쉬운 정의, 품질 점검, 접근과 보존 규칙을 부여합니다.
왜 중요한가
분석이 실망스러운 가장 흔한 이유는 방법이 아닙니다. 데이터입니다. 티켓 범주가 지난봄에 바뀌었는데 아무도 언제인지 기록하지 않았습니다. 두 시스템이 모두 고객의 부서를 가지고 있다고 주장하는데 서로 맞지 않습니다. 타임스탬프가 서로 다른 시간대에 있습니다. 완전해 보이는 필드가 기록의 절반에서 "기타"로 채워져 있습니다. 대시보드가 인시던트의 감소를 보여 주는데, 원인은 더 나은 서비스가 아니라 로깅 변경으로 드러납니다.
같은 문제가 AI도 해칩니다. 잘못 레이블된 티켓으로 훈련된 모델은 그 레이블을 배웁니다. 낡은 문서에 근거한 어시스턴트는 그것을 인용합니다. 불완전한 이력으로 만든 예측은 공백을 앞으로 가져갑니다. 조직이 분석과 AI에 기댈수록, 데이터의 품질, 오너십, 보호는 기술적 배경의 문제가 아니라 그 자체로 하나의 서비스가 됩니다.
데이터 거버넌스는 데이터를 자산으로 관리하는 프랙티스입니다. 누가 책임지는지, 각 용어가 무엇을 뜻하는지, 품질을 어떻게 점검하는지, 데이터가 어떻게 이동하고 어디서 왔는지, 누가 쓸 수 있는지, 언제 삭제되는지를 정합니다. Wikipedia는 데이터 거버넌스를 데이터의 가용성, 사용성, 무결성, 보안의 전반적인 관리로 설명합니다. 이 주제는 서비스 관리 데이터에 대해 이를 실용적인 말로 설명하고 작게 시작하는 방법을 보여 줍니다. 분석(주제 7.1 — 서비스 관리를 위한 분석), 측정(주제 7.3 — 측정과 보고), 관측 가능성(주제 7.4 — 관측 가능성과 텔레메트리), AI(주제 5.6 — AI 거버넌스, 위험, 규정 준수)를 뒷받침하며, 구성 데이터(주제 4.4 — 구성 관리)와 연결됩니다. 법률 자문은 하지 않습니다.
핵심 개념
데이터 자산. 티켓 이력, 구성 데이터베이스, 모니터링 데이터, 설문 결과, 비용 데이터처럼 조직에 가치 있는 데이터 집합입니다. 다른 자산처럼 오너, 비용, 수명주기, 위험이 있습니다. 주제 4.1 — 자산 관리를 참조하세요.
데이터 오너와 스튜어드. 데이터 오너는 데이터 집합의 목적, 품질, 누가 쓸 수 있는지에 책임이 있습니다. 데이터 스튜어드는 정의, 품질 문제, 접근 요청을 처리하며 일상적으로 데이터를 돌봅니다. Wikipedia가 데이터 스튜어드를 설명합니다. 작은 팀에서는 한 사람이 두 역할을 맡을 수 있습니다. 이름 있는 사람이 없으면 아무도 문제를 고치지 않습니다.
데이터 정의와 사전. "해결됨"이나 "주요 인시던트" 같은 각 필드와 용어가 무엇을 뜻하는지, 어떻게 계산되고 출처가 어디인지에 대한 쉬운 진술입니다. Wikipedia가 데이터 사전을 설명합니다. 정의는 두 팀이 같은 단어를 다른 것에 쓰는 일을 막습니다. 추세를 해석할 수 있도록 정의의 변경을 날짜와 함께 기록하세요.
메타데이터. 데이터에 대한 데이터입니다. 어디서 왔는지, 언제 갱신되었는지, 누가 소유하는지, 어떻게 분류되는지, 무엇을 뜻하는지입니다. Wikipedia가 메타데이터를 설명합니다. 데이터 카탈로그는 데이터 집합과 그 메타데이터의 검색 가능한 재고로, 사람들이 데이터를 찾고 신뢰하도록 돕습니다.
데이터 품질. 정확성, 완전성, 일관성, 적시성, 유일성 같은 차원으로 흔히 설명되는 사용 적합성입니다. Wikipedia가 데이터 품질을 설명합니다. 품질은 사용에 상대적입니다. 월간 추세에 충분히 좋은 티켓 범주도 라우팅에는 너무 거칠 수 있습니다. 중요한 필드에서 측정하고 원인은 출처에서 고치세요. Wikipedia가 설명하는 데이터 정제는 사후에 오류를 바로잡을 뿐 재발을 막지 못합니다.
나쁜 품질의 원천. 사람마다 다르게 채우는 자유 텍스트 필드, 바뀌지 않는 기본값, 가지치기 없이 늘어나는 범주, 압박 속에 건너뛰는 수동 입력, 기록을 빠뜨리거나 중복시키는 통합, 의미를 바꾸는 시스템 변경입니다. 사람을 탓하지 말고, 더 나은 양식, 검증, 교육, 통합 검토로 고치세요.
계보와 출처. 데이터가 어디서 왔고 보고서나 모델에 이르는 길에서 무슨 일이 있었는지의 기록입니다. Wikipedia가 데이터 계보를 설명합니다. 수치에 의문이 제기되면 계보로 추적할 수 있습니다. 출처가 바뀔 때 어떤 보고서가 영향받는지도 보여 줍니다.
데이터 파이프라인과 통합. Wikipedia의 문서에서 추출, 변환, 적재(ETL)로 흔히 설명되는 시스템 사이의 데이터 흐름과, 역시 Wikipedia가 설명하는 데이터 웨어하우스와 데이터 레이크 같은 저장소입니다. 파이프라인에는 다른 운영 시스템처럼 오너, 모니터링, 시험이 필요합니다. 주제 6.2 — 워크플로 자동화와 오케스트레이션을 참조하세요.
시간과 신원. 두 가지 작은 문제가 큰 말썽을 일으킵니다. Wikipedia의 타임스탬프와 시간대 문서가 시사하듯 타임스탬프는 일관된 시간대와 형식이 필요합니다. 시간대가 섞이면 알 수 없는 공백과 급등이 생깁니다. 사람, 서비스, 자산의 식별자는 안정적이고 시스템 사이에 공유되어야 기록을 연결할 수 있습니다. Wikipedia가 설명하는 마스터 데이터 관리는 그런 핵심 데이터를 일관되게 유지하는 규율입니다.
분류. 공개, 내부, 기밀, 제한 같은 민감도로 데이터에 레이블을 붙이고 각 수준에 규칙을 부여하는 것입니다. Wikipedia가 데이터 분류를 설명합니다. 서비스 데이터에는 흔히 개인 정보와 보안 세부 사항이 담기며, 보호가 필요합니다.
프라이버시와 보호. 개인 데이터는 식별 가능한 사람과 관련된 정보입니다. 유럽 연합의 일반 개인정보 보호법(GDPR) 같은 법은 목적, 최소화, 보존, 개인의 권리에 관한 규칙을 정합니다. Wikipedia가 개인 데이터와 GDPR을 설명합니다. 거기서 설명되는 데이터 최소화는 필요한 것만 수집하고 보관하는 것입니다. Wikipedia가 설명하는 가명화와 익명화 같은 기법은 위험을 줄이지만 잘하기 어렵고, 약한 익명화는 되돌려질 수 있습니다. 법률 및 개인정보 보호 자문을 구하세요.
접근 제어. 누가 어떤 데이터를 왜 보거나 바꿀 수 있는가입니다. 가능하면 개인이 아니라 역할을 쓰고, 접근을 정기적으로 검토하세요. 주제 3.13 — 정보 보안 관리와 주제 3.6 — 서비스 요청 관리를 참조하세요.
보존과 삭제. 데이터를 얼마나 오래 보관하고 어떻게 파기하는가입니다. 운영, 분석, 법적 의무에 필요한 것은 보관하고 나머지는 삭제하세요. Wikipedia가 데이터 보존을 설명합니다. 오래된 데이터는 위험과 비용을 늘리고, AI 시스템이 그로부터 학습할 수도 있습니다. 적용되는 법적 보존 요구 사항을 확인하세요.
데이터 주권. 데이터는 저장되거나 처리되는 나라의 법의 적용을 받을 수 있습니다. Wikipedia가 데이터 주권을 설명합니다. 클라우드와 AI 서비스는 국경을 넘어 데이터를 옮길 수 있으므로, 여러분의 데이터가 어디로 가는지 아세요.
AI의 데이터. 훈련, 검색, 프롬프트에 쓰이는 데이터에도 같은 거버넌스가 필요하며, 특별한 주의가 따릅니다. 사용에 대한 허락, 출처 표시, 편향과 드리프트 점검, 외부 서비스로 보내는 것에 대한 통제입니다. 주제 5.1 — 서비스 관리에서의 AI를 참조하세요.
거버넌스 포럼과 정책. 표준을 정하고, 갈등을 풀고, 데이터 작업의 우선순위를 정할 권한이 있는 작은 그룹과, 오너십, 품질, 분류, 접근, 보존, AI에서의 데이터 사용을 다루는 짧은 정책입니다. 가볍고 실용적으로 유지하세요.
렌즈는 어떻게 맞물리는가. 데이터 거버넌스는 분석과 AI 렌즈의 토대이며 자동화도 거기에 의존합니다. 애자일 프랙티스는 사람들이 실제로 답을 필요로 하는 질문에 이끌려, 데이터 사용자의 피드백과 함께 작은 단계로 데이터 품질을 개선하기를 제안합니다.
모범 사례
- 가장 중요한 데이터 집합부터 시작합니다. 티켓, 구성, 모니터링, 설문, 비용처럼 핵심 결정 뒤의 데이터를 나열하세요. 그것들을 먼저 거버넌스하세요.
- 각각에 오너와 스튜어드를 지정합니다. 연락 방법과 함께 카탈로그에 기록하세요. 품질과 접근에 책임지게 하세요.
- 정의를 적어 둡니다. 주요 용어와 필드를 계산과 출처와 함께 쉬운 말로 정의하세요. 정의가 바뀔 때를 기록하세요.
- 중요한 곳에서 품질을 측정합니다. 결정을 이끄는 몇 개의 필드를 고르고, 점검을 정의하고, 결과를 오너에게 보고하세요. 시간에 따라 추적하세요.
- 문제를 출처에서 고칩니다. 양식을 개선하고, 검증을 더하고, 범주를 단순화하고, 통합을 고치세요. 사후 정제는 임시방편입니다.
- 시간과 식별자를 표준화합니다. 하나의 시간 표준과 형식, 사람, 서비스, 자산의 안정적이고 공유되는 식별자를 쓰세요.
- 계보를 유지합니다. 주요 보고서와 모델이 데이터를 어디서 가져오고 어떤 변환이 적용되는지 문서화하세요. 출처가 바뀌면 갱신하세요.
- 분류하고 보호합니다. 민감도로 데이터에 레이블을 붙이고, 접근 규칙과 보호를 적용하고, 누가 접근하는지 검토하세요. 필요하지 않은 곳에서는 개인 데이터를 제거하세요.
- 보존을 정하고 삭제합니다. 각 데이터 집합을 얼마나 오래 보관할지 정하고, 그 뒤에는 삭제하거나 익명화하세요. 적용되는 규칙을 확인하세요.
- AI가 쓰는 데이터를 거버넌스합니다. 훈련과 검색에 쓰이는 데이터의 출처, 허락, 품질을 기록하고, 외부 서비스로 가는 것을 통제하세요.
팀과 논의할 질문
우리의 가장 중요한 결정을 이끄는 데이터 집합은 무엇이며, 각각 누가 소유합니까? 나열하세요. 오너십의 공백이 예상됩니다. 더 깊이 들어가려면, 상위 셋에 오너와 스튜어드를 지정하세요.
팀마다 다르게 쓰는 용어는 무엇입니까? "해결됨", "인시던트", "고객" 중 하나를 골라 보세요. 의견 차이가 예상됩니다. 더 깊이 들어가려면, 정의 하나와 누가 결정하는지 적으세요.
정의나 시스템의 변경이 추세를 깨뜨린 때는 언제였으며, 그때 알아챘습니까? 예를 요청하세요. "나중에"가 예상됩니다. 더 깊이 들어가려면, 정의와 출처의 변경 이력에 합의하세요.
우리가 가장 의존하는 필드의 데이터는 얼마나 좋으며, 어떻게 압니까? 범주 같은 필드 하나를 골라 기록 50건을 표본 추출하세요. 문제가 예상됩니다. 더 깊이 들어가려면, 고칠 원인 하나를 고르세요.
서비스 시스템에는 어떤 개인 또는 민감한 데이터가 있으며, 얼마나 오래 보관합니까? 주요 시스템을 따라가 보세요. 첨부 파일과 채팅 로그에 대한 놀라움이 예상됩니다. 더 깊이 들어가려면, 개인정보 보호 책임자를 참여시키고 시스템 하나의 보존 규칙에 합의하세요.
우리는 AI 도구에 어떤 데이터를 먹이고 있으며, 누가 동의했습니까? 사용을 나열하세요. 일부는 비공식적일 것으로 예상됩니다. 더 깊이 들어가려면, 무엇을 써도 되는지에 대한 규칙과 AI 데이터 사용의 등록부에 합의하세요.
실제 적용: 서비스 관리 사례
한 국립 도서관의 디지털 서비스 팀은 수요를 예측하고 티켓을 라우팅할 모델을 훈련하려 합니다. 데이터 분석가가 시작해 보고 티켓 이력을 쓰기 어렵다는 것을 발견합니다. 범주 이름이 두 번 바뀌었고, "기타" 범주가 티켓의 35퍼센트를 차지합니다. 옛 도구의 타임스탬프는 현지 시간이고 새 도구의 것은 세계 표준시입니다. HR 시스템에서 가져온 부서 필드가 신원 시스템의 것과 사용자의 약 8퍼센트에서 다릅니다. 월간 보고서는 인시던트가 4분의 1 줄었음을 보여 주지만, 분석가는 중복 인시던트를 병합하는 방식의 변경이 감소의 대부분을 설명함을 발견합니다.
서비스 책임자는 티켓 데이터를 거버넌스되는 자산으로 다루기로 합니다. 자신을 데이터 오너로, 경험 많은 서비스 데스크 분석가를 스튜어드로 지정합니다. 한 쪽짜리 사전이 "해결됨"의 정의와 그것이 바뀐 날짜를 포함해 중요한 필드 12개를 정의합니다. 팀은 옛 범주를 새 범주에 대응시키고, 이력의 단절에 레이블을 붙이고, 자유 텍스트 메모 없이는 "기타"를 못 쓰게 하는 검증 규칙을 더합니다. 주간 작업이 세 가지 품질 척도를 점검합니다. "기타"에 속한 티켓의 비중, 부서가 빠진 비중, 타임스탬프가 예상 범위를 벗어난 비중입니다. 결과는 데스크에 게시됩니다.
개인정보 보호 책임자가 데이터 집합을 검토해, 자유 텍스트 필드와 첨부 파일에 일반 시민의 개인 정보가 담겨 있음을 발견합니다. 팀은 분석용 복사본에서 첨부 파일을 제거하고, 모델링에 쓰기 전에 텍스트의 이름과 이메일 주소를 가리고, 도서관의 기록 정책에 따라 7년 뒤 티켓을 삭제하기로 합의합니다. 등록부가 티켓 데이터의 각 AI 사용과 그 승인을 나열합니다.
달라진 점은 분석가가 알려진 단절과 깨끗한 계열로 예측을 만들 수 있고, 라우팅 모델이 검토된 레이블로 훈련된다는 것입니다. 여전히 어려운 점은 자유 텍스트의 마스킹이 불완전해 일부 개인 정보가 남는다는 것, HR과 신원 시스템이 여전히 맞지 않는데 두 시스템의 오너가 조정에 합의하지 않았다는 것, 품질 점검이 소수의 직원에 의존한다는 것입니다. 서비스 책임자는 데이터 불일치를 최고 정보 책임자에게 제기하고 점검을 구성 데이터로 넓히려 합니다.
네 가지 관점
제품 및 전달 팀
일관된 필드, 타임스탬프, 식별자로 제품의 로그, 이벤트, API를 설계하고 문서화하세요. 변경은 데이터 사용자에게 미리 알리세요.
서비스 및 운영 팀
데이터를 신중하고 일관되게 입력하고, 양식이나 범주 문제는 스튜어드에게 알리세요. 품질 점검을 돕고 정의 변경의 기록을 유지하세요.
리더십과 거버넌스
오너를 지정하고, 데이터 작업에 재원을 대고, 결정 뒤의 데이터에 대한 품질 증거를 요청하세요. 프라이버시와 AI 사용에 대한 규칙을 정하세요. 정의되지 않은 용어가 있는 보고서를 받아들이지 마세요.
고객과 사용자
여러분에 대해 어떤 데이터가 보관되고 왜인지 알아야 하며, 그에 대해 물을 수 있어야 합니다. 정확한 정보를 제공하고, 기록이 잘못된 것 같으면 제공자에게 알리세요.
애자일, AI, 자동화, 분석
애자일
실제 질문에 이끌려 작은 단계로 데이터를 개선하세요. 다음 분석을 막는 필드를 고치세요. 사용자와 함께 데이터 품질을 정기적으로 검토하세요. 주의: 눈에 보이는 결과가 없는 수년짜리 데이터 프로그램은 지원을 잃으므로, 작고 유용한 성과를 내놓으세요.
AI
AI는 품질 문제를 찾고, 데이터를 분류하고, 정의를 제안하고, 개인 정보를 가리는 데 검토 아래 도울 수 있습니다. AI가 쓰는 데이터에는 출처, 허락, 품질, 드리프트 점검이라는 고유한 거버넌스가 필요합니다. 주의: AI 기반 마스킹은 개인 데이터를 놓칠 수 있으므로, 시험하고 민감한 집합에는 사람의 검토를 유지하세요. 주제 5.6 — AI 거버넌스, 위험, 규정 준수를 참조하세요.
자동화
품질 점검, 계보 수집, 분류 레이블, 보존 규칙, 접근 검토를 예외의 오너와 함께 자동화하세요. 주의: 자동 정제는 데이터를 조용히 바꿀 수 있으므로, 변경을 기록하고 필요한 곳에서는 원본을 보관하세요. 주제 6.2 — 워크플로 자동화와 오케스트레이션을 참조하세요.
분석
핵심 필드의 품질, 완전성, 적시성, 오너와 정의가 있는 데이터 집합의 비중, 데이터 문제로 인한 인시던트를 측정하세요. 주의: 단일 품질 점수는 한 필드의 심각한 결함을 가릴 수 있으므로, 필드와 사용별로 보고하세요. 주제 7.3 — 측정과 보고와 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.
흔한 실패 유형
- 오너 없음. 문제가 계속됩니다. 오너와 스튜어드를 지정하세요.
- 정의되지 않은 용어. 팀이 숫자를 두고 다툽니다. 정의를 쓰고 변경을 기록하세요.
- 한 번만 점검한 품질. 데이터가 낡습니다. 핵심 필드를 지속적으로 모니터링하세요.
- 해결책으로서의 정제. 오류가 재발합니다. 출처를 고치세요.
- 섞인 시간대와 식별자. 기록을 연결하거나 정렬할 수 없습니다. 표준화하세요.
- 모든 것을 보관하기. 위험과 비용이 커집니다. 보존을 정하고 삭제하세요.
- 거버넌스되지 않는 AI 데이터 사용. 민감하거나 나쁜 데이터가 모델에 닿습니다. 사용을 등록하고 검토하세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 오너십과 정의 | 알 수 없다 | 주요 데이터 집합에 오너가 있다 | 오너, 스튜어드, 사전, 카탈로그 | 정의와 변경을 관리한다 | 팀과 파트너 전반에서 거버넌스를 조율한다 |
| 품질 | 알 수 없다 | 무작위 점검 | 핵심 필드를 정기적으로 측정한다 | 품질 개선을 출처까지 추적한다 | 자동화로 품질을 지속적으로 보증한다 |
| 보호 | 임시방편 | 기본 접근 규칙 | 분류, 접근, 보존 규칙 | 규정 준수를 모니터링하고 감사한다 | 파이프라인과 도구에 보호가 내장된다 |
| AI에서의 사용 | 기록되지 않는다 | 인식한다 | AI 데이터 사용의 등록부와 규칙 | 사용을 검토하고 편향과 드리프트를 시험한다 | 시스템과 공급자 전반에서 AI 데이터를 거버넌스한다 |
체크리스트
- 가장 중요한 데이터 집합에 이름 있는 오너와 스튜어드가 있다.
- 핵심 용어와 필드가 변경 날짜와 함께 문서로 정의되어 있다.
- 결정을 이끄는 필드의 품질을 측정한다.
- 품질 문제를 출처에서 고친다.
- 시간대, 형식, 식별자가 표준화되어 있다.
- 주요 보고서가 데이터를 어디서 가져오는지(계보)를 안다.
- 데이터가 분류되고, 접근이 통제되고, 보존 규칙이 있다.
- 등록부가 AI가 쓰는 데이터와 누가 동의했는지 기록한다.
AI 프롬프트
데이터 집합을 프로파일링합니다.
Here is a sample of a dataset with field names, identifiers removed: [paste, 50–100 rows].
For each field, give the apparent meaning, type, share of missing or placeholder values, odd values, and a question for the data owner. Do not draw business conclusions.
List what you are unsure of.
데이터 사전 항목의 초안을 작성합니다.
Field: [name]. What I know about it: [source, how it is filled, how it is used].
Draft a dictionary entry with: plain-language definition, allowed values, how it is calculated or entered, source system, owner (only if stated), known issues, and date of last change (only if stated). Mark each item not given as [missing].
List what you are unsure of.
검토를 위해 자유 텍스트에서 개인 데이터를 찾습니다.
Here is a sample of ticket free text, already partially masked: [paste].
List items that look like personal data (names, emails, phone numbers, addresses, identifiers) that remain, quoting the exact text, and suggest categories of rules to catch them. Do not guess whether any is real.
List what you are unsure of.
AI 스킬
- data-governance: 데이터의 오너십, 정의, 규칙을 정할 때 사용합니다.
- data-quality: 핵심 필드의 품질을 정의하고 점검할 때 사용합니다.
- data-pipeline: 데이터 흐름을 설계하고 문서화할 때 사용합니다.
- legal-data-privacy-compliance: 법률 자문가에게 보낼 프라이버시 질문을 구성할 때 사용합니다.
- raci-matrix: 오너십과 스튜어드십을 지정할 때 사용합니다.
주요 출처
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge: 데이터 관리와 거버넌스에 대한 폭넓은 참고 자료.
- ISO/IEC 25012, data quality model: 데이터 품질 특성의 표준 집합으로, 최신 판은 발행처에서 읽으세요.
- Wikipedia, "Data governance" and "Data quality": 프랙티스와 그 차원의 개관.
- Wikipedia, "General Data Protection Regulation": 중요한 법적 틀 하나에 대한 배경(법률 자문이 아님).
참고 문헌
- Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
- Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
- Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
- Data dictionary — Wikipedia — https://en.wikipedia.org/wiki/Data_dictionary
- Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
- Data lineage — Wikipedia — https://en.wikipedia.org/wiki/Data_lineage
- Data cleansing — Wikipedia — https://en.wikipedia.org/wiki/Data_cleansing
- Master data management — Wikipedia — https://en.wikipedia.org/wiki/Master_data_management
- Data classification — Wikipedia — https://en.wikipedia.org/wiki/Data_classification
- Personal data — Wikipedia — https://en.wikipedia.org/wiki/Personal_data
- General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
- Data retention — Wikipedia — https://en.wikipedia.org/wiki/Data_retention