서비스 수준 관리
서비스 수준 관리는 서비스에 의존하는 사람들과 함께 서비스의 분명하고 측정 가능한 목표를 정하고, 그 목표에 대한 성과를 추적하고, 그 차이를 개선에 활용합니다. 현대의 형태는 전통적인 서비스 수준 협약에 체험 수준 협약과 엔지니어링 목표를 더합니다.
왜 중요한가
제공자와 고객은 "좋은 서비스"가 무엇인지에 대해 서로 다른 그림을 가지고 있습니다. 제공자는 가동 시간과 티켓 종료를 생각합니다. 고객은 일을 마칠 수 있었는지를 생각합니다. 합의된 정의가 없으면 둘 다 진심이면서 둘 다 불만일 수 있습니다. 제공자는 모든 목표가 충족되었음을 보여 주는 보고서를 가리키고, 고객은 좌절의 한 주를 가리킵니다.
서비스 수준 관리는 그 간극을 메웁니다. 고객과 무엇이 필요한지에 대한 대화를 시작하고, 답을 측정할 수 있는 목표로 바꾸고, 고객이 확인할 수 있는 방식으로 보고합니다. 문서보다 대화가 더 중요합니다. 한 번 쓰고 보관한 서비스 수준 협약(SLA)은 잘못된 안도감을 주고, 실제 데이터와 무엇이 작동하지 않는지에 대한 정직한 논의와 함께 정기적으로 검토되는 SLA는 신뢰를 쌓습니다.
현대의 프랙티스는 비판에도 직면합니다. 기술 지표에 설정한 목표가 모두 녹색인데 사용자가 불만일 수 있다는 것입니다. 이에 대응하여 조직은 체험 수준 협약(XLA) 같은 체험 지표를 추가하고, 엔지니어링 팀은 사용자가 알아채는 것에 기반한 서비스 수준 목표(SLO)를 정합니다. 이 주제는 어휘, 목표를 정하는 방법, 목표를 유용하게 유지하는 방법을 설명합니다. 가용성과 용량(주제 3.11 — 가용성, 용량, 성능), 공급자 관리(주제 3.14 — 공급자 관리), 측정(주제 7.3 — 측정과 보고)에 연결됩니다.
핵심 개념
서비스 수준 협약(SLA). ITIL 4에서는 서비스 제공자와 고객 사이의 문서화된 합의로, 필요한 서비스와 기대하는 서비스 수준을 모두 명시합니다. Wikipedia의 서비스 수준 협약 문서가 흔한 부분을 설명합니다. 서비스 설명, 목표, 측정, 보고, 목표를 놓쳤을 때 무슨 일이 일어나는지입니다. SLA는 제공자와 자기 조직 사이의 내부용일 수도, 상업 계약의 외부용일 수도 있습니다.
서비스 수준 목표값. "한 달 중 요청의 99.9퍼센트가 2초 안에 완료된다"나 "우선순위 1 인시던트는 15분 안에 응답한다"처럼 구체적이고 측정 가능한 약속입니다. 각 목표는 무엇을, 어떻게, 어떤 기간에, 어떤 조건에서 측정하는지 정의합니다.
서비스 수준 목표(SLO). 서비스 수준 지표(SLI)의 목표로, 가장 흔히 엔지니어링 팀이 쓰며 주제 2.6 — 사이트 신뢰성 엔지니어링에서 설명하는 프랙티스의 일부입니다. SLO는 보통 내부용이며 외부 SLA보다 엄격하여 팀이 위반 전에 문제를 알아챕니다. Wikipedia가 서비스 수준 목표를 설명합니다.
운영 수준 협약(OLA). 고객에게 서비스를 제공하는 것을 뒷받침하는 내부 팀 사이의 합의입니다. 예를 들어 네트워크 팀은 외부 SLA를 뒷받침하는 서비스 팀에 대응 시간을 합의할 수 있습니다. Wikipedia가 운영 수준 협약을 설명합니다.
뒷받침 계약. 서비스 제공을 뒷받침하는 외부 공급자와의 합의입니다. 그것이 뒷받침하는 SLA와 일관되어야 합니다. SLA가 4시간을 약속하는데 공급자 계약이 8시간을 허용한다면 그 간극은 여러분의 몫입니다.
체험 수준 협약(XLA). 비교적 새로운 생각으로, 순수하게 기술적인 지표 대신 서비스가 사용자의 목표 달성을 얼마나 잘 도왔는지 같은 사용자의 서비스 체험에 초점을 맞춘 합의입니다. XLA는 흔히 시스템 데이터에 더해 설문, 감성 지표, 관찰을 사용합니다. 단일한 표준 정의는 없으므로 여러분이 뜻하는 바를 적어 두세요. 주제 7.7 — 경험과 감성 분석을 참조하세요.
좋은 목표의 조건. 고객에게 의미가 있고, 측정 가능하며, 달성할 수 있는 것에 대한 증거에 기반하고, 그것에 의존하는 사람들과 합의된 것입니다. 측정 방법과 계획된 유지 보수 같은 제외 사항을 밝힙니다. 제공자가 통제할 수 없는 것은 약속하지 않습니다.
평균과 백분위수. 평균은 최악의 경우를 가립니다. "평균 응답 시간 1초 미만"이라는 목표는 요청 열 개 중 하나가 10초 걸려도 충족될 수 있습니다. Wikipedia가 설명하는 백분위수는 "요청의 95퍼센트가 2초 미만"처럼 더 나은 그림을 줍니다. 신경 쓰는 경험에 맞는 백분위수를 고르세요.
가용성과 가동 시간. 서비스가 사용 가능한 시간의 비율로 표현되는 흔한 목표입니다. Wikipedia의 가용성 문서가 계산을 설명합니다. 무엇을 "사용 가능"으로 치느냐에 달려 있습니다. 서비스가 켜져 있어도 쓸 수 없을 수 있습니다. 사용자의 관점에서 정의하세요.
위약금과 크레딧. 많은 외부 SLA는 제공자가 목표를 놓치면 서비스 크레딧 같은 구제 수단을 포함합니다. 진지함의 신호이지만 서비스의 빈약한 대체물입니다. 작은 크레딧은 사업에 영향을 받은 고객에게 도움이 되지 않습니다. Wikipedia의 손해배상 예정액 문서가 관련된 계약 개념을 설명합니다. 계약에서 구제 수단이 어떻게 작동하는지 확인하고 필요하면 법률 자문을 구하세요. 이 가이드는 제공하지 않습니다.
보고. 정기 보고서는 목표에 대한 결과를 보여 주며, 놓친 것에 대한 설명과 조치를 담습니다. 보고서는 기록만이 아니라 대화를 위한 것입니다. 숫자와 함께 예와 사용자의 의견을 포함하세요.
검토. SLA와 목표를 합의된 간격으로 고객과 검토하고, 필요나 기술이 바뀌면 조정하세요. 아무도 쓰지 않는 목표는 폐기하세요.
굿하트의 법칙. "지표가 목표값이 되면 좋은 지표이기를 멈춘다." Wikipedia가 경제학자 찰스 굿하트의 것으로 여겨지는 이 관찰을 설명합니다. 사람들은 목적이 아니라 숫자를 맞추도록 행동을 조정합니다. 서비스 수준은 이를 부릅니다. 티켓을 일찍 닫고, 인시던트를 재분류하고, 시계를 멈춥니다. 표본, 짝지은 지표, 고객 피드백으로 막으세요. 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.
렌즈는 어떻게 맞물리는가. 서비스 수준 관리는 애자일 개선이 합의를 만나는 곳입니다. 목표를 자주 검토하고 조정합니다. AI는 검토 아래 성과 데이터를 분석하고 보고서의 초안을 쓰는 것을 도울 수 있습니다. 자동화는 일관되게 측정하고 보고합니다. 분석은 기술 목표와 사용자 경험 사이의 관계를 보여 줍니다.
모범 사례
- 고객이 필요로 하는 것에서 시작합니다. 실패하면 안 되는 것이 무엇인지, 어떤 느림은 참을 수 있는지 물으세요. 측정하기 쉬운 것이 아니라 그 답에 근거해 목표를 정하세요.
- 목표의 수를 적게 유지합니다. 서비스당 의미 있는 소수의 목표가 수십 개보다 이해하고 관리하기 쉽습니다. 아무도 쓰지 않는 것은 버리세요.
- 각 목표를 정확하게 씁니다. 무엇을, 어디서, 어떤 기간에, 무엇을 제외하고, 결과를 어떻게 계산하는지 밝히세요. 최근 한 달의 데이터로 정의를 시험하세요.
- 응답과 성능에 백분위수를 사용합니다. 평균뿐 아니라 목표를 충족한 사례의 비율을 보고하고 최악의 사례를 보여 주세요.
- 내부 목표를 협약보다 엄격하게 정합니다. 위반 전에 팀이 행동할 여유를 주세요. 내부와 외부 목표가 서로, 그리고 공급자 계약과 일관되게 하세요.
- 체험 지표를 추가합니다. 기술 목표와 함께 짧은 설문과 관찰로 서비스가 사용자에게 어떻게 도움이 되었는지 물으세요. 실제 사례를 표본 추출하여 숫자가 놓치는 것을 보세요.
- 맥락과 함께 보고합니다. 고객과의 정기 회의에서 결과를 발표하고, 놓친 것을 정직하게 설명하고, 조치에 합의하세요. 사용자 의견 몇 개를 포함하세요.
- 조작을 막습니다. 숫자 뒤의 티켓과 인시던트 표본을 검토하고, 재오픈율을 보고, 속도 지표를 품질 지표와 짝지우세요.
- 협약을 정기적으로 검토합니다. 목표가 여전히 필요와 비용에 맞는지 확인하기 위해 적어도 1년에 한 번, 그리고 큰 변화가 있을 때 만나세요. 목표를 공개적으로 바꾸세요.
- 공급자를 정렬합니다. 각 공급자의 합의가 약속한 목표를 뒷받침하는지 확인하고, 그들의 성과를 여러분에게 어떻게 보고할지 합의하세요. 주제 3.14 — 공급자 관리를 참조하세요.
팀과 논의할 질문
지난달 모든 목표를 충족했다면 고객은 서비스가 좋았다고 말하겠습니까? 이 질문은 목표가 경험을 반영하는지 시험합니다. 어딘가의 불일치가 예상됩니다. 어떤 목표도 잡지 못한 최근의 불만을 물으세요. 더 깊이 들어가려면, 새로운 체험 지표 하나를 고르세요.
우리 목표 중 아무도 읽지 않는 것은 무엇이며, 모두가 다투는 것은 무엇입니까? 이 질문은 쓸모없거나 논란이 되는 지표를 찾습니다. 각각을 누가 결정에 쓰는지 물으세요. 더 깊이 들어가려면, 하나는 폐기하고 하나는 명확히 하세요.
우리가 고객에게 약속하는 것 중 공급자나 다른 팀에 달린 것은 무엇이며, 그들은 우리에게 무엇을 약속했습니까? 이 질문은 합의 간의 일관성을 시험합니다. 숫자를 나란히 확인하세요. 공백이 예상됩니다. 더 깊이 들어가려면, 재협상이나 약속의 변경으로 메울 공백 하나를 고르세요.
우리 목표는 사용자를 돕지 않고도 어떻게 충족될 수 있습니까? 조작을 상상해 보세요. 티켓을 일찍 닫고, 시계를 멈추고, 정의를 좁힙니다. 이런 일이 일어나는지 물으세요. 더 깊이 들어가려면, 목표 하나에 대한 표본 점검을 고르세요.
우리 서비스 검토 회의에는 누가 참석하며, 그 후 무엇이 바뀝니까? 조치 없는 회의는 의식입니다. 마지막 조치 목록을 요청하세요. 더 깊이 들어가려면, 각 검토가 책임자가 있는 최대 세 개의 조치로 끝나도록 합의하세요.
AI는 서비스 수준 데이터를 분석하거나 보고서의 초안을 쓰는 데 어디서 도울 수 있으며, 사람이 확인해야 하는 것은 무엇입니까? AI는 추세를 요약하고 설명의 초안을 쓸 수 있습니다. 증거 없이 원인을 말할 수도 있습니다. 누가 초안을 데이터와 대조해 검토하는지 물으세요. 더 깊이 들어가려면, 사람이 승인하는 가운데 내부용으로 AI 초안 요약을 시범 운영하세요.
실제 적용: 서비스 관리 사례
한 지역 상수도 공사의 IT 부서는 사무직 800명과 현장 팀 300명을 지원합니다. 작업 지시 시스템의 SLA는 99.5퍼센트의 가용성과 우선순위 1 인시던트에 대한 4시간 응답을 약속합니다. 보고서는 2년 동안 모든 목표가 충족되었음을 보여 줍니다. 그럼에도 현장 팀은 시스템이 "믿을 수 없다"고 하고, 운영 책임자는 더 나은 SLA를 요구합니다.
서비스 관리자는 현장 팀장들을 만나 "믿을 수 없다"가 무슨 뜻인지 묻습니다. 그들은 시스템이 켜져 있지만 팀이 일을 시작하는 이른 아침에 매우 느리고, 모바일 수신이 나쁠 때는 동기화에 실패한다고 말합니다. 둘 다 포착되지 않습니다. 가용성은 데이터 센터에서 5분 간격으로 하는 점검으로 측정되고, 응답 목표는 팀이 올리는 티켓에만 적용되는데, 팀은 아무것도 이루어지지 않을 것이라 가정해 좀처럼 올리지 않습니다.
관리자는 변경을 제안합니다. 팀은 실제 사용자 트랜잭션에 기반한 SLI를 추가합니다. 작업 지시 저장의 95퍼센트가 3초 안에 완료되며, 오전 6~8시를 따로 측정합니다. 팀은 시스템이 일을 마치는 데 도움이 되었는지, 무엇이 방해했는지에 대한 두 가지 질문이 있는 짧은 월간 펄스 설문을 팀에 추가합니다. 그리고 SLA보다 엄격한 내부 SLO를 설정하여 팀이 현장 팀보다 먼저 이른 아침의 느림을 보게 합니다. 운영 책임자는 분기마다 현장 팀 대표들과 목표를 검토하기로 합의합니다.
달라진 점은 첫 달의 데이터가 이른 아침의 느림을 분명히 보여 주고, 데이터베이스 튜닝 변경이 대부분을 고친다는 것입니다. 여전히 어려운 점은 동기화 실패가 공사가 통제하지 못하는 모바일 수신에 달려 있다는 것, 설문의 응답률이 약 3분의 1이라는 것, 새 SLI는 계약에 없어서 경영진에 대한 보고서에 이제 두 벌의 숫자가 들어간다는 것입니다. 관리자는 둘 다 유지하고 다음 갱신 때 새 지표를 SLA에 통합하자고 제안합니다.
네 가지 관점
제품 및 전달 팀
서비스를 운영하고 사용하는 사람들과 지표와 목표를 정의하고, 측정을 제품에 내장하세요. 놓친 목표를 운영뿐 아니라 설계를 볼 신호로 다루세요.
서비스 및 운영 팀
목표와 측정 방법을 아세요. 조작을 경계하고, 정직하게 보고하고, 숫자가 놓치는 것의 예를 검토 회의에 가져오세요. 내부 목표를 써서 일찍 행동하세요.
리더십과 거버넌스
목표가 고객의 필요를 반영하는지, 공급자 계약과 일관되는지 물으세요. 대표 비율만이 아니라 분포와 표본을 보세요. 단일 숫자로 팀에 보상하거나 벌을 주지 마세요.
고객과 사용자
여러분에게 가장 중요한 것과 참을 수 있는 것을 말하세요. 검토에 참여하세요. 모든 보고서가 녹색인데 여러분이 불만이라면 제공자에게 알리고 예를 주세요.
애자일, AI, 자동화, 분석
애자일
고객과 작은 단계로 목표를 정기적으로 검토하고 조정하며, 놓친 것을 개선의 피드백으로 쓰세요. 주의: 매달 바뀌는 목표는 모두를 혼란스럽게 합니다. 안정적인 핵심을 유지하고 의도적으로 바꾸세요.
AI
AI는 성과 데이터를 분석하고, 보고서의 초안을 쓰고, 놓친 원인을 제안할 수 있으며, 결론에는 사람이 책임집니다. 각 사용에 책임자를 지정하세요. 주의: 놓친 것에 대한 AI의 설명은 증거 없이 권위 있게 들릴 수 있으므로, 사용한 데이터를 인용하게 하세요. 주제 5.1 — 서비스 관리에서의 AI를 참조하세요.
자동화
실제 트랜잭션으로부터의 측정, 보고, 위반 위험에 대한 알림을 투명한 계산과 함께 자동화하세요. 주의: 자동화된 측정은 정의의 오류를 가릴 수 있으므로, 원시 데이터와 계산을 정기적으로 표본 추출하세요. 주제 6.2 — 워크플로 자동화와 오케스트레이션을 참조하세요.
분석
응답 시간의 백분위수 같은 기술 지표를 설문 결과와 불만 같은 체험 데이터와 결합하세요. 주의: 설문은 응답하는 사람들에게서 오고, 모든 지표는 목표가 되면 조작될 수 있으므로, 여러 출처를 쓰고 사례를 표본 추출하세요. 주제 7.7 — 경험과 감성 분석과 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.
흔한 실패 유형
- 모두 녹색인데 고객은 불만. 지표가 경험을 놓칩니다. 사용자 기반 지표와 표본을 추가하세요.
- 너무 많은 목표. 아무도 읽지 않습니다. 중요한 몇 가지를 유지하세요.
- 평균만. 최악의 경우가 가려집니다. 백분위수를 쓰고 이상치를 보여 주세요.
- 조작. 시계를 멈추고, 티켓을 일찍 닫습니다. 표본 추출하고 지표를 짝지우세요.
- 일관되지 않은 합의. 약속이 공급자가 제공하는 것을 넘습니다. 내부와 외부 목표를 정렬하세요.
- 무기로서의 SLA. 회의가 크레딧을 두고 다툽니다. 개선과 공유된 이해에 집중하세요.
- 검토되지 않음. 목표가 낡습니다. 합의된 간격으로 검토하세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 목표 | 기술적이고 검토되지 않는다 | 일부 고객 기반 목표 | 고객과 정하고 정확하게 정의한 목표 | 목표를 데이터와 경험에 비추어 검토한다 | 목표를 서비스와 파트너 전반에 조율한다 |
| 측정 | 수작업 | 일부 자동화 | 가능한 곳에서는 사용자 트랜잭션으로 측정한다 | 측정을 검증하고 표본 추출한다 | 사슬 전반에서 측정이 자동화되고 투명하다 |
| 체험 | 측정하지 않는다 | 임시 설문 | 기술 지표와 함께 체험 지표가 있다 | 체험이 개선과 연결된다 | 체험이 서비스 전반의 합의를 이끈다 |
| 검토 | 드물다 | 연 1회 | 조치가 있는 정기 검토 | 검토의 결과를 추적한다 | 검토가 계획 및 공급자와 통합된다 |
체크리스트
- 목표가 고객의 필요에 기반하며 고객과 합의되어 있다.
- 각 목표가 정확하게 정의되어 있고 실제 데이터로 시험했다.
- 응답과 성능 목표에 백분위수를 쓴다.
- 내부 목표가 외부 협약보다 엄격하다.
- 공급자 계약이 우리가 약속한 목표를 뒷받침한다.
- 기술적 성과와 함께 체험도 측정한다.
- 조작이 없는지 숫자 뒤의 사례를 표본 추출한다.
- 적어도 1년에 한 번, 그리고 큰 변화 후에 협약을 검토한다.
AI 프롬프트
목표의 정의를 점검합니다.
Here is a service level target as written: [paste]. Here is a month of raw data: [paste summary].
List what is unclear in the wording, compute the result in two different reasonable ways showing your steps, and note where the answers differ. Do not recommend a new target.
List what you are unsure of.
숫자가 놓치는 것을 찾습니다.
Our targets: [list]. Here are user complaints from the last quarter: [paste, personal data removed].
List complaints that no target would have detected, quote each briefly, and suggest one possible measure for each. Do not claim the measures would work.
List what you are unsure of.
서비스 검토를 준비합니다.
Here are this month's results against targets: [paste]. Here are notable incidents and user comments: [paste].
Draft an agenda and five questions to discuss with the customer, including one about what the numbers do not show. Do not explain causes that are not in the material.
List what you are unsure of.
AI 스킬
- service-level-agreement: 협약과 목표를 초안으로 쓰고 검토할 때 사용합니다.
- key-risk-indicators: 일찍 경고하는 지표를 고를 때 사용합니다.
- survey-design: 체험 지표를 설계할 때 사용합니다.
- vendor-management: 공급자 합의를 여러분의 목표와 정렬할 때 사용합니다.
주요 출처
- PeopleCert, ITIL certification pages: 서비스 수준 관리 프랙티스에 대한 소유자의 설명.
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on service level objectives, free at sre.google.
- Wikipedia, "Service-level agreement" and "Service-level objective": 용어의 개관.
- Wikipedia, "Goodhart's law": 지표를 목표값으로 쓰는 것에 대한 경고.
참고 문헌
- Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
- Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
- Operational-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Operational-level_agreement
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Liquidated damages — Wikipedia — https://en.wikipedia.org/wiki/Liquidated_damages
- Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/