왜 중요한가

서비스 팀은 매우 많은 데이터를 만들어 냅니다. 티켓, 로그, 지표, 설문, 변경 기록, 비용 보고서입니다. 대부분은 쓰이지 않은 채 있거나, 아무도 결정과 연결할 수 없는 대시보드에 요약됩니다. 보고서는 닫힌 티켓 같은 활동을 설명할 뿐, 고객의 형편이 나아졌는지에 대해서는 거의 말해 주지 않습니다.

분석은 데이터에서 답을 얻는 규율입니다. Wikipedia는 분석을 데이터 속 의미 있는 패턴의 발견, 해석, 전달로 설명합니다. 서비스 관리에서는 수요가 어디서 오는지, 인시던트가 왜 되풀이되는지, 일이 어디서 기다리는지, 어떤 변경이 위험한지, 개선이 도움이 되었는지 보여 줄 수 있습니다. 오도할 수도 있습니다. 차트는 편향된 표본, 우연의 일치, 조용히 바뀐 정의 위에 서 있으면서도 권위 있어 보일 수 있습니다.

이 주제는 7부의 시작점입니다. 분석의 종류, 건전한 분석의 단계, 신중한 사람도 걸려드는 함정을 설명합니다. 지표 정의는 짝이 되는 서비스 관리 지표(Service Management Metrics) 책에 맡기고, 다음 주제들을 가리킵니다. 기반(주제 7.2 — 데이터 기반과 데이터 거버넌스), 측정(주제 7.3 — 측정과 보고), 관측 가능성(주제 7.4 — 관측 가능성과 텔레메트리), 예측(주제 7.5 — 예측 분석과 전망), 흐름(주제 7.6 — 프로세스 및 가치 흐름 분석), 경험(주제 7.7 — 경험과 감성 분석)입니다. 최신 ITIL 버전에 대한 소유자의 설명은 측정 가능한 성과를 강조하며(주제 1.3 — ITIL 5 참조), 이는 분석이 잘 이루어지는 데 달려 있습니다.

핵심 개념

분석의 네 가지 종류. 흔한 구분은 이렇습니다.

종류 질문 서비스 업무의 예
기술(Descriptive) 무슨 일이 일어났는가? 서비스별 월간 인시던트
진단(Diagnostic) 왜 일어났는가? 반복 인시던트의 공통점
예측(Predictive) 무슨 일이 일어날 것 같은가? 다음 분기 티켓 양 예측
처방(Prescriptive) 무엇을 해야 하는가? 최소 비용으로 목표를 충족하는 인력 수준

Wikipedia가 기술, 예측, 처방 분석을 설명합니다. 각각은 앞의 것 위에 세워집니다. 대부분의 서비스 팀은 앞의 둘을 잘하는 데서 가장 큰 가치를 얻을 것입니다.

질문으로 시작하기. 분석은 저녁 교대에 인력을 더할지 같은 누군가 내려야 하는 결정에서 시작해, 데이터가 답할 수 있는 질문으로 바꿉니다. 질문이 없으면 분석은 흥미로운 것을 찾는 수색이 되고, Wikipedia의 데이터 준설(data dredging) 문서는 그것이 우연에 불과한 패턴을 찾아내는 이유를 설명합니다.

데이터. 가지고 있는 것, 어디서 왔는지, 어떻게 기록되었는지, 무엇을 빠뜨리는지입니다. 티켓 데이터는 일어난 모든 것이 아니라 사람들이 보고하기로 한 것과 상담원이 분류한 방식을 보여 줍니다. 주제 7.2 — 데이터 기반과 데이터 거버넌스를 참조하세요. Wikipedia는 데이터 품질을 사용 적합성으로 설명합니다.

기술 통계. 개수, 중앙값, 백분위수, 퍼짐 같은 요약입니다. Wikipedia가 기술 통계를 설명합니다. 서비스 데이터에서는 긴 꼬리를 숨기는 평균보다 중앙값과 백분위수가 대개 더 유용하고, Wikipedia가 설명하는 이상치는 자동으로 제거하기보다 살펴볼 가치가 있습니다.

탐색적 분석. 아이디어를 시험하기 전에 데이터를 보고 모양, 품질, 의외의 점을 파악하는 것입니다. Wikipedia가 탐색적 데이터 분석을 설명합니다. 결측값을 0으로 취급하는 것 같은 어리석은 실수를 막아 줍니다.

표본 추출과 편향. 대부분의 분석은 표본을 쓰고, 표본은 오도할 수 있습니다. Wikipedia가 표본 추출과 선택 편향을 설명합니다. 설문 응답은 답하는 사람에게서, 지원 티켓은 연락하는 사람에게서 옵니다. 역시 거기서 설명되는 생존자 편향은 머문 고객처럼 남아 있는 것만 연구할 때 생깁니다.

상관관계와 원인. 두 가지가 함께 움직인다고 해서 하나가 다른 하나의 원인은 아닙니다. Wikipedia가 이 문제를 "상관관계는 인과관계를 의미하지 않는다"로, 제3의 요인이 둘을 모두 움직이는 교란을 설명합니다. 티켓 양과 서버 수는 비즈니스가 성장했기 때문에 함께 오를 수 있습니다. 인과 주장에는 차트 이상이 필요합니다. 통제된 비교나 대안에 대한 신중한 추론입니다. Wikipedia는 원인을 알아내는 방법으로 인과 추론과 A/B 시험을 설명합니다.

역설과 함정. Wikipedia가 설명하는 심슨의 역설은 여러 집단에서 나타나는 추세가 집단을 합치면 뒤집히는 경우입니다. 역시 거기서 설명되는 기저율 오류는 어떤 것이 얼마나 흔한지를 무시하는 실수로, 드문 사건에 대한 좋은 탐지기가 대부분 오경보를 내게 합니다. 이런 함정을 아는 것이 방어입니다.

통계적 유의성과 불확실성. 명시된 가정 아래 결과가 우연만으로는 일어나기 어려울 때 "유의하다"고 합니다. Wikipedia가 가설 검정과 신뢰 구간을 설명합니다. 유의성은 중요성이 아닙니다. 큰 데이터 집합에서는 아주 작은 효과도 유의할 수 있고, 작은 집합에서는 큰 효과도 불확실할 수 있습니다. 단일 숫자만이 아니라 범위를 보여 주세요.

시각화. 차트는 사람들이 패턴을 보도록 돕고, 나쁜 차트는 오도합니다. Wikipedia가 데이터 및 정보 시각화를 설명합니다. 질문에 맞는 형태를 고르고, 축과 단위에 이름을 붙이고, 눈금을 정직하게 시작하고, 불확실성을 보여 주세요. Wikipedia가 핵심 정보의 시각적 표시로 설명하는 대시보드는 결정에 쓰여야 하고 적어야 합니다.

시계열. 많은 서비스 데이터는 추세, 계절 패턴, 갑작스러운 변화와 함께 시간에 따라 기록됩니다. Wikipedia가 시계열 분석을 설명합니다. 같은 것끼리 비교하세요. 이번 월요일은 다른 월요일들과 비교합니다. 주제 7.5 — 예측 분석과 전망을 참조하세요.

모델과 머신러닝. 통계 및 머신러닝 모델은 예측하고, 분류하고, 군집화할 수 있습니다. 훈련 및 시험 데이터, 검증, 드리프트 모니터링이 필요합니다. 주제 5.1 — 서비스 관리에서의 AI를 참조하세요. 모델은 진실의 원천이 아니라 가정이 있는 도구입니다.

굿하트의 법칙. 척도가 목표가 되면 좋은 척도이기를 그칩니다. Wikipedia가 이 법칙을 설명합니다. 사람이나 팀을 평가하는 데 쓰는 분석은 결과가 아니라 숫자를 개선하는 행동 변화를 불러옵니다. 척도는 배우는 데 쓰고, 다른 척도와 짝지으며, 각각이 어떻게 조작될 수 있는지 말하세요. 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.

윤리와 프라이버시. 상담원 생산성이나 사용자 행동처럼 사람에 대한 분석은 동의, 공정성, 비례성의 문제를 제기합니다. Wikipedia는 프라이버시와 알고리즘 편향을 따로 설명합니다. 필요한 것만 수집하고, 가능하면 집계하고, 무엇을 왜 분석하는지 공개하세요. 주제 5.6 — AI 거버넌스, 위험, 규정 준수를 참조하세요.

전달. 아무도 이해하지 못하는 분석은 아무것도 바꾸지 못합니다. 질문, 답, 확신도, 한계, 권장 결정을 쉬운 말로 진술하고, 도움이 되는 곳에는 차트를 쓰세요.

렌즈는 어떻게 맞물리는가. 분석은 네 번째 렌즈이며 나머지 셋을 섬깁니다. 애자일 프랙티스는 변경이 도움이 되었는지 점검하는 데 분석을 씁니다. AI는 데이터를 연료로 쓰고 검토 아래 분석 속도를 높일 수 있습니다. 자동화는 데이터를 만들고 그에 따라 행동합니다. 분석도 통찰을 변화로 바꾸려면 앞의 세 렌즈가 필요합니다.

모범 사례

  1. 결정에서 시작합니다. 누가 무엇을 언제까지 결정하는지, 어떤 증거가 그들의 마음을 바꿀지 적으세요. 분석을 거기에 맞추세요.
  2. 결정을 정밀한 질문으로 바꿉니다. 데이터를 만지기 전에 "해결됨"이나 "반복 인시던트" 같은 용어, 모집단, 기간을 정의하세요.
  3. 데이터를 압니다. 출처, 기록이 만들어지는 방식, 알려진 공백, 시간에 따른 정의의 변화를 문서화하세요. 표본을 현실과 대조해 확인하세요.
  4. 시험하기 전에 봅니다. 분포, 결측값, 이상치를 먼저 탐색하세요. 오류를 고치고 바꾼 것을 기록하세요.
  5. 견고한 요약을 씁니다. 중앙값과 백분위수를 개수와 함께 보고하고 퍼짐을 보여 주세요. 같은 요일이나 계절처럼 같은 것끼리 비교하세요.
  6. 편향을 경계합니다. 데이터에서 누가 빠져 있고 왜인지 물으세요. 결과를 제시할 때 표본의 한계를 밝히세요.
  7. 근거 없이 원인을 주장하지 않습니다. 비교나 강력한 논거가 없으면 "와 연관된"이라고 말하세요. 대안적 설명을 나열하고 어떻게 점검했는지 말하세요.
  8. 불확실성을 보여 줍니다. 범위를 주고 표본 크기를 적으세요. 거짓된 정밀함을 피하세요.
  9. 독자를 위해 시각 자료를 설계합니다. 차트를 단순하고, 정직하고, 레이블이 붙게 유지하세요. 쓰이지 않는 많은 것보다 의미 있는 몇 개의 대시보드를 선호하세요.
  10. 고리를 닫습니다. 내린 결정과 결과를 기록하고, 나중에 분석이 도움이 되었는지 확인하세요. 아무도 쓰지 않는 보고서는 폐기하세요.

팀과 논의할 질문

우리가 데이터로 마지막으로 내린 결정은 무엇이며, 데이터는 실제로 무엇을 알려 주었습니까? 예를 요청하세요. 이미 내려진 결정을 데이터가 뒷받침했을 것으로 예상됩니다. 더 깊이 들어가려면, 다가오는 결정 하나를 골라 질문을 먼저 쓰세요.

우리 보고서 중 아무도 읽거나 그에 따라 행동하지 않는 것은 무엇입니까? 사용을 확인하세요. 여러 개가 예상됩니다. 더 깊이 들어가려면, 하나를 폐기하고 누군가 아쉬워하는지 물으세요.

우리의 데이터는 어디에서 편향되거나 불완전할 수 있으며, 누가 빠져 있습니까? 티켓, 설문, 로그를 생각해 보세요. 우리에게 연락하지 않는 사용자가 많을 것으로 예상됩니다. 더 깊이 들어가려면, 출처 하나를 골라 다른 출처의 점검을 더하세요.

최근의 개선이 실제로 통했음을 무엇이 우리에게 확신시키겠습니까? 증거를 논의하세요. 전후 차트에 대한 의존이 예상됩니다. 더 깊이 들어가려면, 같은 시기에 바뀐 다른 것을 나열하세요.

우리의 숫자 중 조작될 수 있는 것은 무엇이며, 어떻게 알아채겠습니까? 누군가의 평가에 중요한 척도 하나를 고르세요. 창의적인 답이 예상됩니다. 더 깊이 들어가려면, 표본 점검이나 짝지은 척도에 합의하세요.

AI가 우리의 데이터를 분석하는 데 어떻게 도울 수 있으며, 그 작업을 어떻게 확인합니까? AI는 데이터를 요약하고, 차트의 초안을 쓰고, 패턴을 제안할 수 있습니다. 지어낸 발견을 진술할 수도 있습니다. 누가 어떻게 확인하는지 물으세요. 더 깊이 들어가려면, 작은 데이터 집합으로 AI 분석을 손으로 반복해 보세요.

실제 적용: 서비스 관리 사례

한 국세청의 IT 서비스 데스크는 한 달에 25,000건의 접촉을 처리합니다. 한 고위 관리자는 평균 해결 시간이 1년 사이 20퍼센트 올랐음을 보여 주는 대시보드를 갖고 있고, 데스크 리드에게 "다시 낮추라"고 요청합니다. 리드는 반응하기 전에 분석하기로 합니다.

그녀는 질문으로 시작합니다. 전형적인 접촉을 해결하는 시간이 올랐는가, 올랐다면 어떤 종류의 접촉에서인가? 먼저 데이터를 점검합니다. 봄에 티켓 도구가 "해결됨"을 기록하는 방식을 바꿔, 티켓이 사용자가 확인할 때가 아니라 상담원이 표시할 때 해결되게 되었습니다. 또한 가을에 시작된 복잡한 "사례 시스템 접근" 요청이라는 새 범주가 접촉의 12퍼센트를 차지하며 나머지보다 다섯 배 오래 걸린다는 것도 발견합니다.

그녀는 범주별로 나눠 중앙값과 90번째 백분위수로 다시 계산합니다. 옛 범주에서는 해결 시간의 중앙값이 그대로이고, 90번째 백분위수는 약간 올랐습니다. 전체 평균은 주로 새 범주와 바뀐 정의 때문에 올랐습니다. 그녀는 데이터가 일부 접근 요청이 왜 오래 걸리는지는 보여 줄 수 없고, 그렇다는 것만 보여 준다고 기록합니다.

그녀는 한 쪽짜리 요약을 제시합니다. 평균은 새로운 유형의 업무와 정의 변경 때문에 올랐다, 대부분의 접촉은 전과 같이 빠르다, 긴 꼬리가 조금 늘었고 복잡한 요청은 살펴볼 필요가 있다. 직원 변동도 있었으므로 새 범주가 긴 꼬리의 상승을 "일으켰다"고 말하는 것은 피합니다. 두 가지 조치를 제안합니다. 티켓 40건의 표본으로 접근 요청을 연구하는 것과, 백분위수가 있는 범주별 월간 보고서입니다.

달라진 점은 관리자가 일률적인 감소를 요구하지 않고 접근 요청 연구를 요청한다는 것입니다. 여전히 어려운 점은 정의 변경을 완전히 되돌릴 수 없어 단절을 가로지르는 비교가 근사치로 남는다는 것, 티켓 40건의 표본을 한 사람이 읽어 편향에 열려 있다는 것, 관리자가 여전히 단일한 숫자를 선호한다는 것입니다. 리드는 두 관점을 모두 유지하고 매번 각각의 한계를 설명합니다.

네 가지 관점

제품 및 전달 팀

데이터를 변경이 도움이 되었는지 시험하는 데 쓰고, 유용한 데이터가 존재하도록 제품에 계측을 넣으세요. 정의와 한계를 데이터를 쓰는 이들과 공유하고, 차트 하나로 과장해서 주장하지 마세요.

서비스 및 운영 팀

데이터가 어디서 오는지, 무엇을 놓치는지 아세요. 중앙값과 백분위수를 개수와 함께 보고하고 긴 꼬리를 살펴보세요. 도구나 범주가 바뀌면 분석가에게 알리세요.

리더십과 거버넌스

차트만이 아니라 질문, 데이터, 한계, 결정을 요청하세요. 단일 척도로 사람을 평가하지 마세요. 데이터 품질과 분석 스킬에 재원을 대세요.

고객과 사용자

여러분은 데이터 속에 있으면서도 흔히 빠져 있습니다. 무엇이 중요한지 질문받아야 하고, 제공자는 여러분의 정보가 어떻게 쓰이는지 말해야 합니다. 숫자가 여러분의 경험과 맞지 않으면 제공자에게 알리세요.

애자일, AI, 자동화, 분석

애자일

분석을 피드백 도구로 쓰세요. 기대를 정하고, 작은 변경을 하고, 데이터를 확인하고, 결정하세요. 결과를 이해관계자와 공유하세요. 주의: 작은 실험에 행동하기 위해 완벽한 데이터를 기다리지 마세요. 또한 짧은 전후 차트를 증거로 여기지도 마세요.

AI

AI는 오너와 점검이 있다면 데이터를 정리하고, 쿼리와 차트의 초안을 쓰고, 결과를 요약하고, 패턴을 제안할 수 있습니다. 주의: AI가 생성한 분석은 데이터가 뒷받침하지 않는 발견을 진술하거나 잘못된 방법을 쓸 수 있으므로, 계산을 보여 주도록 요구하고 표본을 손으로 반복하세요. 주제 5.1 — 서비스 관리에서의 AI를 참조하세요.

자동화

각 단계의 문서화와 함께 데이터 수집, 정리, 정기 보고서를 자동화하세요. 주의: 자동화된 보고서는 의미가 바뀐 뒤에도 계속될 수 있으므로, 정의와 출처를 정기적으로 검토하세요. 주제 6.1 — 자동화 전략을 참조하세요.

분석

이 주제가 곧 렌즈입니다. 질문, 데이터, 방법, 불확실성, 결정입니다. 주의: 데이터의 양이 통찰을 대신하게 하지 마세요. 분석이 결정을 바꾸었는지 측정하세요. 지표 정의와 가드레일은 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.

흔한 실패 유형

  • 결정 없는 보고서. 아무도 쓰지 않는 대시보드입니다. 결정에서 시작하고 쓰이지 않는 보고서를 폐기하세요.
  • 가리는 평균. 나쁜 경험의 꼬리가 보이지 않습니다. 중앙값, 백분위수, 분할을 쓰세요.
  • 알려지지 않은 정의. 필드 의미의 변경이 추세를 깨뜨립니다. 정의를 문서화하고 모니터링하세요.
  • 편향된 표본. 연락하는 사람만 집계됩니다. 누가 빠져 있는지 밝히세요.
  • 상관관계에서 끌어낸 원인. 차트가 증거로 받아들여집니다. 대안적 설명을 나열하고 시험하세요.
  • 거짓된 정밀함. 숫자가 불확실성 없이 제시됩니다. 범위와 표본 크기를 보여 주세요.
  • 왜곡하는 목표. 사람들이 숫자를 최적화합니다. 척도를 짝짓고 실제 사례를 표본 추출하세요.

성숙도 모델

영역 시작 발전 표준화 관리 오케스트레이션
질문과 결정 습관적인 보고서 일부 질문이 정의되어 있다 분석이 이름 붙은 결정에서 시작한다 결정의 영향을 추적한다 서비스 전반에서 분석이 계획과 통합된다
데이터 이해 알 수 없다 주요 출처를 안다 출처, 정의, 공백이 문서화되어 있다 데이터 품질을 측정하고 개선한다 팀과 파트너 사이에 데이터를 거버넌스하고 공유한다
방법 평균과 차트 중앙값과 기본 분할 표준 방법, 불확실성, 편향 점검 방법을 검토하고 동료가 점검한다 감독과 검증이 있는 고급 방법
전달 대시보드 요약 한계를 밝힌 쉬운 말의 발견 사항 사용자와 함께 발견 사항을 시험한다 통찰이 일상의 결정에 내장된다

체크리스트

  • 각 분석이 이름 붙은 결정과 정밀한 질문에서 시작한다.
  • 데이터 출처, 정의, 알려진 공백을 문서화한다.
  • 중앙값과 백분위수를 개수와 함께 보고한다.
  • 데이터에서 누가 빠져 있는지와 표본의 한계를 밝힌다.
  • 상관관계와 원인을 구별하고 대안적 설명을 나열한다.
  • 불확실성을 보여 주고 거짓된 정밀함을 피한다.
  • 조작될 수 있는 척도를 짝짓고 실제 사례를 표본 추출한다.
  • 내린 결정을 추적하고 분석이 도움이 되었는지 검토한다.

AI 프롬프트

결정을 질문으로 바꿉니다.

The decision we need to make: [describe]. Who decides: [role]. Data we have: [list sources and fields].
Write three precise analytical questions that would inform the decision, with definitions of key terms, the population, and the period. List what data we lack for each. Do not propose answers.
List what you are unsure of.

결과 요약에서 함정을 점검합니다.

Here is a summary of an analysis with the data used: [paste].
List possible problems: sample bias, missing groups, changes in definitions, outliers, confounding factors, and claims of cause not supported by the data. Quote the text for each. Do not redo the analysis.
List what you are unsure of.

분석 전에 데이터 집합을 기술합니다.

Here is a sample of rows from our dataset with field names, identifiers removed: [paste].
List each field, its apparent type, missing values, odd values, and questions to ask about how it is recorded. Do not draw conclusions about the business.
List what you are unsure of.

AI 스킬

주요 출처

  • Edward Tufte, The Visual Display of Quantitative Information (1983): 정직한 차트에 대한 고전.
  • Darrell Huff, How to Lie with Statistics (1954): 흔한 통계적 속임수에 대한 짧고 읽기 쉬운 설명.
  • The companion Service Management Metrics book: 지표 정의, 조작 경로, 가드레일.
  • Wikipedia, "Analytics" and "Data analysis": 분야의 개관.

참고 문헌

  1. Analytics — Wikipedia — https://en.wikipedia.org/wiki/Analytics
  2. Data analysis — Wikipedia — https://en.wikipedia.org/wiki/Data_analysis
  3. Descriptive statistics — Wikipedia — https://en.wikipedia.org/wiki/Descriptive_statistics
  4. Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
  5. Prescriptive analytics — Wikipedia — https://en.wikipedia.org/wiki/Prescriptive_analytics
  6. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
  7. Simpson's paradox — Wikipedia — https://en.wikipedia.org/wiki/Simpson%27s_paradox
  8. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
  9. Data dredging — Wikipedia — https://en.wikipedia.org/wiki/Data_dredging
  10. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  11. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
  12. Exploratory data analysis — Wikipedia — https://en.wikipedia.org/wiki/Exploratory_data_analysis