측정과 보고
좋은 측정은 목표에서 시작하고, 정밀하게 정의된 소수의 척도를 쓰고, 각 척도를 조작을 막는 가드레일과 짝짓고, 분포와 추세를 보여 주고, 행동할 수 있는 사람들에게 보고합니다. 정의는 짝이 되는 서비스 관리 지표 책에 있으며, 이 주제는 그것을 잘 쓰는 방법입니다.
왜 중요한가
서비스 관리에 있는 모든 사람이 정확하지만 쓸모없는 보고서를 본 적이 있습니다. 숫자가 빼곡한 쪽, 신호등 요약, 모든 목표를 달성했다는 메모. 그러다 고객이 일주일간의 나쁜 서비스에 대해 불만을 제기하고, 관리자는 어떻게 그럴 수 있느냐고 묻습니다. 보고서는 세기 쉬운 것을 측정했고, 목표가 결과를 대신하게 되었습니다.
반대의 실패도 똑같이 실재합니다. 숫자가 사람을 부당하게 평가하는 데 쓰여 왔기 때문에 팀이 숫자를 불신하고 측정 자체를 거부합니다. 그러면 개선은 의견에 달려 있게 되고, 가장 목소리가 큰 사람이 결정합니다.
탈출구는 측정을 목적이 있는 기예로 다루는 것입니다. 서비스가 성과를 내는지, 어디를 개선할지 배우는 것입니다. 척도는 목표에서 고르고, 두 사람이 같은 방식으로 계산하도록 정의하고, 분포와 추세로 읽고, 오도할 수 있는 방식에 대해 점검합니다. 이 주제는 그 기예를 일반적인 말로 설명합니다. 개별 지표를 정의하지는 않습니다. 짝이 되는 서비스 관리 지표(Service Management Metrics) 책이 각각에 대해 정의, 조작 경로, 가드레일을 주며, 숫자 자체를 위해서는 그곳으로 가면 됩니다. 이 주제는 분석(주제 7.1 — 서비스 관리를 위한 분석), 데이터 기반(주제 7.2 — 데이터 기반과 데이터 거버넌스), 서비스 수준(주제 3.7 — 서비스 수준 관리), 지속적 개선(주제 3.15 — 지속적 개선)과 연결됩니다.
핵심 개념
측정값, 지표, 인디케이터. 측정값(measure)은 인시던트 수처럼 관찰할 수 있는 양입니다. 지표(metric)는 계산, 출처, 기간이 있는, 목적을 위해 정의된 측정값입니다. 인디케이터는 직접 관찰하기 어려운 것의 상태를 알려 줍니다. Wikipedia가 성과 지표를 일반적으로 설명하며, 흔히 핵심 성과 지표의 약자인 KPI로 줄여 부릅니다. 용어는 느슨하게 쓰이므로 무슨 뜻인지 정의하세요.
목표가 먼저. 척도는 목표와의 관계에서만 유용합니다. 목표를 쉬운 말로 쓰고("무언가 고장 났을 때 고객이 빠르게 도움을 받을 수 있다"), 어떤 증거가 그것이 충족되는지 보여 줄지 물으세요. Wikipedia는 여러 관점에서 척도를 목표에 연결하는 균형 성과표와, 목표를 측정 가능한 결과와 짝짓는 목표 및 핵심 결과(OKR) 같은 접근을 설명합니다. 무엇을 쓰든 대화의 보조 수단으로 다루세요.
성과, 산출물, 활동. 성과(outcome)는 고객과 조직에게 일어나는 변화이고, 산출물은 서비스가 만들어 내는 것이며, 활동은 노력입니다. 닫힌 티켓 같은 활동만 측정하면 누군가의 형편이 나아졌는지 거의 알 수 없습니다. 성과와 경험 척도를 포함하세요. 주제 1.1 — 서비스 관리를 참조하세요.
선행 및 후행 인디케이터. 후행 인디케이터는 고객 만족처럼 사후의 결과를 보고합니다. 선행 인디케이터는 늘어나는 백로그 연령처럼 앞으로 올 것을 알립니다. Wikipedia가 경제 지표 아래 둘을 설명합니다. 균형 잡힌 집합에는 둘 다 포함됩니다.
정밀한 정의. 두 사람이 척도를 계산해 같은 답을 얻을 수 있어야 합니다. 모집단, 시작과 끝 이벤트, 제외 대상, 기간, 데이터 출처를 정의하세요. "해결 시간"에는 시계가 언제 시작하고, 멈추고, 일시 중지하는지의 정의가 필요합니다. 정의의 변경을 날짜와 함께 기록하세요. 주제 7.2 — 데이터 기반과 데이터 거버넌스를 참조하세요.
평균, 중앙값, 백분위수. 평균은 소수의 극단값에 쉽게 왜곡됩니다. Wikipedia가 설명하는 중앙값과 백분위수는 전형적인 사례와 운 나쁜 사용자가 겪는 꼬리를 보여 줍니다. 응답 및 해결 시간에는 중앙값과 90번째 백분위수 같은 백분위수를 보고하세요.
분포와 추세. 한 달에 대한 단일 숫자는 변동을 숨깁니다. 분포, 여러 기간에 걸친 추세, 정상적인 변동의 범위를 보여 주세요. Wikipedia는 정상적인 변동을 무언가 바뀌었다는 신호와 구별하는 관리도와 통계적 공정 관리를 설명합니다. 모든 출렁임에 반응하지 마세요.
목표와 임계값. 목표는 겨냥하는 수준이고, 임계값은 행동을 촉발하는 수준입니다. 목표는 필요와 달성 가능한 것의 증거에서 나와야 합니다. 증거 없이 정한 목표는 조작이나 절망을 부릅니다.
굿하트의 법칙과 조작. 척도가 목표가 되면 좋은 척도이기를 그칩니다. Wikipedia가 굿하트의 법칙과, 사회과학자 도널드 캠벨의 관련된 관찰을 설명합니다. 사람들은 유인에 적응합니다. 티켓을 일찍 닫고, 시계를 멈추고, 범주를 바꾸고, 어려운 사례를 피합니다. Wikipedia의 왜곡된 유인(perverse incentive) 문서는 때로 코브라 효과라고 불리는 의도하지 않은 효과의 예를 줍니다. 모든 지표에는 조작 경로가 있으며, 서비스 관리 지표(Service Management Metrics) 책이 이를 가드레일과 함께 밝힙니다.
가드레일. 첫 번째 척도의 조작을 막는 두 번째 척도나 점검입니다. 예컨대 속도를 품질과(해결 시간과 재오픈율), 양을 성과와(닫힌 티켓과 사용자 만족), 자동화된 척도를 실제 사례의 표본 검토와 짝지으세요. 가드레일이 없으면 척도는 표류합니다.
사람을 측정하기. 상담원당 티켓 같은 개인 성과의 척도는, 사람마다 일이 다르고 시스템이 누구든 이룰 수 있는 것을 좌우하기 때문에, 특히 조작과 불공정에 취약합니다. 이 가이드와 짝이 되는 책은 개인의 순위를 매기지 말라고 권합니다. 시스템을 이해하기 위해 팀 수준의 척도를 쓰세요.
벤치마킹. Wikipedia가 설명하듯 다른 곳과 비교하면 기대를 정하는 데 도움이 될 수 있습니다. 비교는 정의, 업무의 구성, 맥락이 맞는 곳에서만 유효합니다. 차이를 무시하는 비교는 회의적으로 보세요.
보고. 보고서는 결정에 정보를 주기 위해 존재합니다. 독자와 결정을 아세요. 좋은 보고서는 목표, 척도, 추세, 설명, 행동을 진술합니다. 메시지를 분명하게 하는 시각 설계를 쓰세요. Wikipedia가 데이터 및 정보 시각화와 대시보드를 설명합니다. 많은 것보다 더 적고 더 분명한 화면이 더 잘 섬깁니다.
전달 척도. DORA 프로그램 같은 소프트웨어 전달 연구는 흔히 네 가지 핵심 지표라고 부르는 네 가지 척도를 씁니다. 배포 빈도, 변경 리드 타임, 변경 실패율, 서비스 복구 시간입니다. 이들은 전달 시스템에 대한 유용한 질문입니다. 팀의 순위를 매기는 점수가 아닙니다. 주제 2.2 — 지속적 전달을 참조하세요.
경험 척도. 설문, 만족 점수, Wikipedia가 설명하는 순고객추천지수(NPS)는 사용자에게 무엇을 생각하는지 묻습니다. 누가 응답하는지, 질문이 어떻게 표현되는지 같은 고유한 한계가 있습니다. 주제 7.7 — 경험과 감성 분석을 참조하세요.
투명성과 신뢰. 사람들은 이해하고, 정의하는 데 도왔고, 공정하게 쓰이는 것을 보는 척도를 신뢰합니다. 정의, 데이터, 결과가 어떻게 쓰이는지 공유하세요. 척도는 배우기 위한 것이라고 분명히 말하세요.
렌즈는 어떻게 맞물리는가. 측정은 분석이 거버넌스와 개선을 만나는 곳입니다. 애자일 프랙티스는 변경이 도움이 되었는지 점검하는 데 소수의 척도를 씁니다. AI는 검토 아래 계산과 초안 작성을 도울 수 있고, 자체로도 품질의 척도가 필요합니다. 자동화는 도구에서 측정값을 만들어 냅니다.
모범 사례
- 목표에서 시작합니다. 서비스가 무엇을 위한 것이고 성공이 어떤 모습인지 적은 다음, 그곳에 이르고 있는지 보여 주는 척도를 고르세요. 어떤 목표에도 기여하지 않는 척도는 버리세요.
- 집합을 작게 유지합니다. 서비스마다 성과, 흐름, 품질, 경험을 다루는 소수의 척도를 고르세요. 최소 매년 집합을 검토하세요.
- 각 지표를 정밀하게 정의합니다. 정의, 출처, 계산, 기간, 제외, 오너, 알려진 한계를 적으세요. 서비스 관리 지표(Service Management Metrics) 책의 정의를 출발점으로 쓰세요.
- 조작 경로를 밝히고 가드레일을 더합니다. 각각에 대해 서비스를 개선하지 않고 어떻게 개선할 수 있는지 묻고 점검과 짝지으세요. 실제 사례를 정기적으로 표본 추출하세요.
- 분포와 추세를 보여 줍니다. 중앙값과 백분위수, 정상 변동의 범위, 여러 기간을 보고하세요. 변화를 설명하고 신호와 소음을 구별하세요.
- 증거로 목표를 정합니다. 이력, 필요, 역량에 기반해 정하고, 충족해야 하는 이들과 합의하세요. 상황이 바뀌면 검토하세요.
- 개인이 아니라 시스템을 측정합니다. 팀 및 서비스 수준의 척도로 시스템을 이해하세요. 그것으로 사람의 순위를 매기지 마세요.
- 결정하기 위해 보고합니다. 보고서마다 독자와 결정의 이름을 대세요. 발견, 확신도, 제안된 행동을 진술하세요. 아무도 쓰지 않는 보고서는 폐기하세요.
- 열려 있습니다. 정의와 결과를 측정되는 이들에게 공개하고 이의를 환영하세요. 데이터가 어떻게 쓰이고 쓰이지 않을지 알려 주세요.
- 검토하고 폐기합니다. 각 척도가 결정을 바꾸었는지 확인하세요. 그렇지 않은 것은 제거하고, 조작된 것은 고치세요.
팀과 논의할 질문
우리 척도 중 어떤 고객도 형편이 나아지지 않고 충족될 수 있는 것은 무엇입니까? 이는 조작 경로를 찾아냅니다. 쉬운 예가 몇 가지 예상됩니다. 더 깊이 들어가려면, 하나를 골라 가드레일에 합의하세요.
우리의 정기 척도는 각각 어떤 목표에 기여하며, 누가 그 때문에 무언가를 결정합니까? 보고서를 따라가 보세요. 목표도 결정도 없는 척도가 여럿 있을 것으로 예상됩니다. 더 깊이 들어가려면, 하나를 버리세요.
"해결됨"과 "응답 시간"을 어떻게 정의하며, 누군가 정의를 바꾼 적이 있습니까? 문서화된 정의를 요청하세요. 의견 차이가 예상됩니다. 더 깊이 들어가려면, 정의 하나를 쓰고 그 이력을 기록하세요.
우리의 평균이 가리는 것을 백분위수는 무엇이라고 말합니까? 척도 하나에 대해 둘 다 계산하세요. 긴 꼬리가 예상됩니다. 더 깊이 들어가려면, 그것에 백분위수를 보고하기로 합의하세요.
이곳에서 척도는 개인이나 팀을 평가하는 데 어떻게 쓰이며, 그것이 행동에 무슨 영향을 줍니까? 터놓고 논의하세요. 조작과 두려움의 이야기가 예상됩니다. 더 깊이 들어가려면, 특정 척도를 배우는 데 쓰기로 합의하고 서면으로 밝히세요.
AI가 척도를 계산하거나 설명하는 데 어떻게 도울 수 있으며, 어떻게 확인합니까? AI는 계산하고 해설의 초안을 쓸 수 있습니다. 지어낸 원인으로 추세를 설명할 수도 있습니다. 누가 확인하는지 물으세요. 더 깊이 들어가려면, 계산 하나를 손으로 반복해 비교하세요.
실제 적용: 서비스 관리 사례
한 지역 구급 서비스의 IT 부서는 이사회에 매달 24개의 척도를 보고합니다. 이사회는 근무 시작 시 컴퓨터 지원 배차 시스템이 느리다고 배차 담당자들이 불평하는데 왜 보고서는 초록색이냐고 묻습니다. IT 책임자는 그것을 쓰는 사람들과 함께 측정 집합을 다시 만들기로 합니다.
그녀는 배차 리더들과 합의한 목표로 시작합니다. 배차 담당자가 지연 없이 호출을 열고 갱신할 수 있다, 결함이 빠르게 고쳐진다, 변경이 운영을 방해하지 않는다. 그녀는 여덟 개의 척도를 고르고, 각각을 짝이 되는 서비스 관리 지표(Service Management Metrics) 책에 기반한 한 쪽짜리 항목으로 정의합니다. "배차 담당자 트랜잭션 시간"의 정의는 무엇을 어디서부터 재는지, 95번째 백분위수를 시간대별로 보고한다는 것을 밝힙니다. 데이터 센터에서 5분 간격 핑으로 측정하던 옛 가용성 척도는 유지하되 이사회에 단독으로는 보여 주지 않습니다.
팀은 척도마다 조작 경로와 가드레일을 적습니다. "목표 안에 해결된 인시던트"는 재오픈율, 그리고 선임 분석가가 읽는 월간 인시던트 30건 표본과 짝지어집니다. 인시던트를 빠르게 닫고 나중에 다시 여는 일이 첫 척도를 돋보이게 할 수 있음을 팀이 인식했기 때문입니다. 이사회 보고서는 12개월에 걸친 중앙값과 95번째 백분위수를 정상 변동의 범위와 함께 보여 주고, 무엇이 바뀌었고 팀이 무엇을 할지에 대한 짧은 메모를 담습니다.
첫 보고서는 95번째 백분위수 트랜잭션 시간이 06:30에서 07:30 사이에 두 배가 됨을 보여 주고, 이사회는 용량 연구에 재원을 댑니다. 매달 배차 담당자 40명에게 묻는 만족 질문이 경험에 대한 관점을 더합니다. IT 책임자는 어떤 척도도 분석가 개인의 순위를 매기는 데 쓰지 않겠다고 서면으로 밝히기도 합니다.
달라진 점은 이사회가 실제 문제를 논의하고 팀이 정의를 두고 다투기를 멈춘다는 것입니다. 여전히 어려운 점은 새 트랜잭션 척도가 두 벤더가 다르게 기록하는 로그 필드에 의존해 데이터가 근사치라는 것, 야간 근무에서 설문 응답률이 낮다는 것, 고위 관리자가 여전히 이사회를 위한 단일 점수를 원한다는 것입니다. IT 책임자는 여덟 개의 척도를 유지하고, 단일 점수가 아침의 문제를 어떻게 가릴지 관리자에게 보여 줍니다.
네 가지 관점
제품 및 전달 팀
측정을 제품에 내장하세요. 이벤트, 시간, 사용자 대면 인디케이터입니다. 전달 척도는 팀을 비교하는 데가 아니라 제약을 찾는 데 쓰세요. 정의를 운영과 공유하세요.
서비스 및 운영 팀
무엇이 어떻게 측정되는지 알고, 서비스에 대한 자신의 감각과 대조해 확인하세요. 조작과 나쁜 정의를 정직하게 보고하세요. 척도를 어디를 개선할지 보는 데 쓰세요.
리더십과 거버넌스
초록색 요약이 아니라 목표, 정의, 분포, 가드레일을 요청하세요. 척도로 사람의 순위를 매기지 마세요. 데이터 작업에 재원을 대고 나쁜 소식을 들을 준비를 하세요.
고객과 사용자
무엇이 중요한지 질문받고, 여러분의 경험을 반영하는 척도를 보고, 그 덕분에 무엇이 바뀌고 있는지 들어야 합니다. 숫자가 여러분이 보는 것과 맞지 않으면 제공자에게 알리세요.
애자일, AI, 자동화, 분석
애자일
기대와 날짜와 함께 각 변경을 점검하는 데 소수의 척도를 쓰고, 이해관계자와 검토하세요. 더는 정보를 주지 않는 척도는 폐기하세요. 주의: 척도가 팀의 목표가 되게 하지 마세요. 팀은 숫자를 최적화할 것입니다.
AI
AI는 계산, 차트 작성, 해설 초안 작성을 도울 수 있으며, AI 시스템 자체도 정확도, 오류, 비용의 척도가 필요합니다. 주의: 숫자가 왜 바뀌었는지에 대한 AI의 설명은 지어낸 것일 수 있으므로, 데이터를 가리키도록 요구하고 확인하세요. 주제 5.1 — 서비스 관리에서의 AI를 참조하세요.
자동화
문서화된 정의와 변경 이력과 함께 수집과 계산을 자동화하세요. 주의: 자동화된 보고서는 정의가 조용히 깨진 뒤에도 몇 년 동안 돌 수 있으므로, 원시 데이터에 대해 정기적으로 검증하세요. 주제 6.1 — 자동화 전략을 참조하세요.
분석
지표를 점검하기 위해 분포, 추세 및 변동 방법, 실제 사례의 표본 추출을 쓰세요. 주의: 중요해지면 어떤 척도든 조작될 수 있으므로, 척도를 짝짓고 사례를 계속 읽으세요. 서비스 관리 지표(Service Management Metrics) 책과 주제 7.1 — 서비스 관리를 위한 분석을 참조하세요.
흔한 실패 유형
- 초록색 보고서, 불행한 고객. 척도가 성과를 놓칩니다. 성과 및 경험 척도와 표본 추출을 더하세요.
- 너무 많은 척도. 아무도 쓸 수 없습니다. 목표와 연결된 소수를 유지하세요.
- 모호한 정의. 숫자를 비교할 수 없습니다. 정밀하게 정의하고 변경을 기록하세요.
- 평균. 꼬리가 가려집니다. 백분위수와 분포를 보고하세요.
- 증거 없는 목표. 조작이나 절망이 뒤따릅니다. 목표를 데이터에 기반하고 합의하세요.
- 개인의 순위 매기기. 신뢰가 무너지고 숫자가 조작됩니다. 시스템과 팀을 측정하세요.
- 가드레일 없음. 척도가 표류합니다. 각각을 점검과 짝짓고 사례를 표본 추출하세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 목표와 선정 | 세기 쉬운 무엇이든 | 일부 목표와 연결된 척도 | 서비스마다 목표와 연결된 소수의 집합 | 결정에 비추어 집합을 검토한다 | 서비스와 파트너 전반에서 척도를 정렬한다 |
| 정의와 품질 | 비공식적이다 | 일부 정의 | 오너와 변경 이력이 있는 정밀한 정의 | 원시 데이터에 대해 정의를 검증한다 | 팀 전반에서 정의를 공유하고 자동화한다 |
| 조작 방어 | 없음 | 인식한다 | 지표마다 조작 경로와 가드레일 | 실제 사례의 표본을 검토한다 | 보고와 문화에 방어가 내장된다 |
| 보고와 활용 | 정적인 보고서 | 대시보드 | 추세와 분포를 갖춘, 이름 붙은 결정을 위한 보고서 | 활용과 영향을 추적한다 | 보고가 계획 및 개선과 통합된다 |
체크리스트
- 각 척도가 문서화된 목표에 기여한다.
- 각 지표에 정밀한 정의, 오너, 출처, 변경 이력이 있다.
- 중앙값과 백분위수를 추세와 함께 보고한다.
- 각 지표에 이름 붙은 조작 경로와 가드레일이 있다.
- 성과 및 경험 척도를 포함한다.
- 척도로 개인의 순위를 매기지 않는다.
- 각 보고서가 독자와 그것이 뒷받침하는 결정의 이름을 댄다.
- 더는 결정을 바꾸지 않는 척도를 검토하고 폐기한다.
AI 프롬프트
검토를 위한 지표 정의를 작성합니다.
Metric name: [name]. What we want to know: [goal in plain words]. Data we have: [fields and source].
Draft a definition with: purpose, population, start and end events, exclusions, calculation, period, source, owner (leave blank), and known limits. Then list two ways the metric could be gamed and one guardrail for each. Mark any assumption.
List what you are unsure of.
보고서에서 흔한 문제를 점검합니다.
Here is a monthly report with its measures and a short commentary: [paste].
List measures without a stated goal, uses of averages where percentiles would help, claims of cause not supported by the data, comparisons that may not be like for like, and anything that could be gamed. Quote the text for each. Do not rewrite the report.
List what you are unsure of.
척도의 변화를 설명합니다.
The measure [name] changed from [value] to [value]. Here are other facts from the same period: [paste, such as changes in tools, staffing, volumes, definitions].
List possible explanations as hypotheses, what data would test each, and which are not supported by the facts given. Do not state a cause as fact.
List what you are unsure of.
AI 스킬
- software-engineering-metrics: 전달 척도를 그 위험과 함께 정의할 때 사용합니다.
- key-risk-indicators: 조기 경보 인디케이터를 고를 때 사용합니다.
- statistical-analysis: 변동과 불확실성을 분석할 때 사용합니다.
- survey-design: 편향을 피하는 경험 척도를 설계할 때 사용합니다.
- trend-analysis: 시간에 따른 변화를 살펴볼 때 사용합니다.
주요 출처
- The companion Service Management Metrics book: 이 주제가 전반에 걸쳐 가리키는 지표 정의, 조작 경로, 가드레일.
- Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018), and DORA (dora.dev): 전달 척도에 대한 연구.
- Donald J. Wheeler, Understanding Variation (1993): 척도의 신호와 소음에 대한 명쾌한 설명.
- Wikipedia, "Goodhart's law" and "Performance indicator": 주요 개념의 개관.
참고 문헌
- Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
- Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
- Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Campbell's law — Wikipedia — https://en.wikipedia.org/wiki/Campbell%27s_law
- Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
- Economic indicator — Wikipedia — https://en.wikipedia.org/wiki/Economic_indicator
- Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Benchmarking — Wikipedia — https://en.wikipedia.org/wiki/Benchmarking
- Data and information visualization — Wikipedia — https://en.wikipedia.org/wiki/Data_and_information_visualization
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score