예측 분석과 전망
수요, 용량, 인시던트, 변경 위험에 대한 전망과 예측은 팀이 준비하도록 돕지만 본질적으로 불확실합니다. 먼저 단순한 기준선을 쓰고, 단일 숫자 대신 범위를 보여 주고, 따로 떼어 둔 데이터로 검증하고, 드리프트를 모니터링하고, 전망을 만들기 전에 결정 규칙을 명시하세요.
왜 중요한가
서비스 팀은 늘 무언가를 준비하고 있습니다. 새 학기 첫 주에는 접촉이 몇 건 올까? 스토리지는 언제 찰까? 어떤 변경이 인시던트를 일으킬 가능성이 높을까? 세일 기간에 당직에 몇 명이 있어야 할까? 인력, 용량, 위험에 대한 결정은 누가 말로 하든 하지 않든 미래에 대한 믿음 위에 서 있습니다.
예측은 그 믿음을 명시적이고 시험 가능하게 만듭니다. 범위를 갖춘 다음 달 티켓 양 전망은 실제로 일어난 일과 비교하고 개선할 수 있습니다. 변경의 위험에 점수를 매기는 모델은 실패한 변경에 대해 점검할 수 있습니다. 잘하면 직관을 증거로 대체합니다. 못하면 직관을 거짓된 확신으로 대체합니다. 소수점 둘째 자리까지의 단일 숫자, 아무도 설명할 수 없는 모델이 만들었고, 과학적으로 보이기 때문에 신뢰받는 것입니다.
예측은 평범한 이유로 빗나갑니다. 과거에 중요한 패턴이 없었습니다. 모델이 소음에 맞춰졌습니다. 출시, 정책 변경, 장애가 모델이 학습한 관계를 깨뜨립니다. 드문 사건을 흔한 사건을 위해 만든 도구로 전망합니다. 이 주제는 서비스 관리에서 전망과 예측의 주요 종류, 쉬운 말로 설명한 방법, 이를 정직하게 유지하는 습관을 설명합니다. 분석(주제 7.1 — 서비스 관리를 위한 분석)과 용량 계획(주제 3.11 — 가용성, 용량, 성능) 위에 서 있으며, AIOps(주제 5.2 — AIOps) 및 클라우드의 경제성(주제 4.5 — 재무 관리와 FinOps)과 관련됩니다.
핵심 개념
전망과 예측. 전망(forecasting)은 다음 달 수요처럼 시간에 따른 양의 미래 값을 추정합니다. 예측(prediction)은 더 넓게 변경이 실패할지 같은 미지의 것을 추정합니다. Wikipedia가 전망과 예측 분석을 설명합니다. 둘 다 과거 데이터의 패턴을 쓰고, 둘 다 불확실합니다.
시계열. 일정한 간격으로 기록된 데이터입니다. Wikipedia가 시계열 분석을 설명합니다. 일일 티켓 수 같은 많은 서비스 양은 추세(장기적인 상승이나 하락), 계절성(주간이나 연간 같은 규칙적인 주기), 소음이 있는 시계열입니다. Wikipedia가 계절성을 설명합니다. 전망은 셋 모두를 고려해야 합니다.
기준선. 통할 수 있는 가장 단순한 전망입니다. "다음 주는 이번 주와 같을 것이다" 또는 "이번 달은 성장을 조정한 작년 같은 달과 같을 것이다". 기준선은 놀랄 만큼 이기기 어렵습니다. 정교한 방법은 언제나 기준선과 비교하세요. 분명히 더 낫지 않다면 기준선을 쓰세요.
고전적 방법. Wikipedia가 설명하는 지수 평활과 자기회귀 통합 이동 평균(ARIMA) 모델 같은 기법은 많은 계열의 추세와 계절성을 다루며 더 복잡한 도구로 이기기 어려운 경우가 많습니다. 설명하기도 더 쉽습니다.
머신러닝 방법. 회귀 트리나 신경망처럼 많은 변수에서 패턴을 학습하는 방법은 계획된 행사 같은 추가 정보를 쓸 수 있습니다. Wikipedia가 회귀 분석과 머신러닝을 일반적으로 설명합니다. 관련 데이터가 풍부하면 잘할 수 있고, 그렇지 않으면 과적합할 수 있습니다. 주제 5.1 — 서비스 관리에서의 AI를 참조하세요.
과적합과 검증. 소음을 포함해 과거에 너무 가깝게 맞춰진 모델은 새 데이터에서 성능이 나쁩니다. Wikipedia가 과적합을 설명합니다. 방어는 Wikipedia가 설명하듯 별도의 훈련, 검증, 시험 집합에서 모델이 보지 못한 데이터를 떼어 두는 것과, 모델을 만드는 데 쓴 것보다 나중 기간으로 시험하는 것입니다. 시계열에서는 이를 백테스팅이라고 하며 Wikipedia가 설명합니다.
누수. 인시던트가 해결된 뒤에 채워지는 필드처럼 예측 시점에 이용할 수 없는 정보를 모델에 쓰는 것입니다. Wikipedia가 머신러닝의 누수를 설명합니다. 인상적인 시험 결과와 쓸모없는 전망을 낳습니다.
불확실성과 구간. 전망은 숫자가 아니라 가능성의 분포입니다. Wikipedia가 설명하는 예측 구간은 명시된 확률로 결과를 포함할 것으로 기대되는 범위를 줍니다. "8,000건에서 9,500건 사이, 가장 가능성 높게는 8,700건"처럼 범위를 보고하세요. Wikipedia가 설명하는 몬테카를로 방법은 가능한 많은 미래를 시뮬레이션해 범위를 보여 줍니다.
시나리오. 출시처럼 결정이나 이벤트에 달린 일에는, Wikipedia가 설명하는 시나리오 계획이 하나의 전망 대신 그럴듯한 이야기 몇 개를 전개하고 각각에 대비합니다. 미래가 과거와 종류가 다를 수 있을 때 시나리오를 쓰세요.
정확도 척도. 흔한 척도는 Wikipedia가 설명하는 평균 절대 백분율 오차와 명시된 범위에 들어온 결과의 비중처럼 전망을 결과와 비교합니다. 각각 약점이 있습니다. 백분율 오차는 값이 0에 가까우면 불안정합니다. 오류가 여러분에게 비용을 치르는 방식에 맞는 척도를 고르세요.
분류와 위험 점수. 변경이 실패하거나 티켓이 목표를 위반하는 것처럼 무언가가 일어날지 예측하면 점수가 나옵니다. Wikipedia가 정밀도와 재현율을 설명합니다. 이런 예측이 틀리는 두 방식인 오경보와 놓침입니다. 드문 사건은 이를 어렵게 합니다. Wikipedia가 설명하는 기저율 오류는 사건이 드물 때 좋아 보이는 탐지기가 대부분 오경보를 내는 경우입니다. 임계값을 고르기 전에 각 종류의 오류의 비용을 정하세요.
보정. 위험 점수는 20퍼센트로 점수가 매겨진 항목 가운데 실제로 약 20퍼센트가 일어나면 보정된 것입니다. Wikipedia가 통계의 보정을 설명합니다. 순위는 잘 매기지만 보정되지 않은 점수는 이를 확률로 읽는 사람들을 오도할 수 있습니다.
드리프트. 서비스, 사용자, 도구가 바뀌면 관계도 바뀝니다. Wikipedia가 개념 드리프트를 설명합니다. 작년에 통했던 모델이 새 제품 출시 뒤에 실패할 수 있습니다. 시간에 따른 정확도를 모니터링하고, 떨어지면 재훈련하거나 다시 만드세요.
드물고 극단적인 사건. 평범한 이력으로 훈련된 모델은 매우 특이한 사건에는 잘하지 못합니다. Wikipedia가 설명하는 블랙 스완 이론은 드물고 영향이 큰 사건을 평범한 데이터로는 예측할 수 없다는 생각입니다. 꼬리 위험을 전망에 의존하지 말고 시나리오, 스트레스 시험, 연습을 쓰세요. 주제 3.12 — 서비스 연속성 관리를 참조하세요.
대기열과 용량. 전망된 수요는 용량 결정에 입력됩니다. Wikipedia가 설명하는 대기 행렬 이론과 리틀의 법칙은 수요, 용량, 대기를 연결합니다. 주제 3.11 — 가용성, 용량, 성능과 주제 2.3 — 흐름과 칸반을 참조하세요.
결정이 먼저. 전망은 결정을 바꿀 때만 유용합니다. 하나를 만들기 전에 그것이 알려 줄 결정, 행동 임계값, 각각에서 할 일을 적으세요. 아무것도 바뀌지 않는다면 전망하지 마세요.
사람의 판단. 사람들은 어떤 모델도 본 적 없는 출시, 정책 변경, 행사를 압니다. 모델의 출력과 판단을 결합하고, 조정을 기록하고, 나중에 도움이 되었는지 확인하세요.
렌즈는 어떻게 맞물리는가. 예측은 분석의 미래 지향적 측면입니다. 애자일 프랙티스는 전망을 자주 갱신되는 가설로 다룹니다. AI 기법은 검토 아래 위의 주의 사항과 함께 예측할 수 있는 것을 넓힙니다. 자동화는 수요에 앞선 확장처럼 예측에 따라 한도 안에서 행동할 수 있습니다.
모범 사례
- 결정과 임계값을 먼저 정합니다. 전망의 각 범위가 어떤 행동을 촉발하는지, 누가 결정하는지 적으세요. 아무것도 바꾸지 않을 전망은 건너뛰세요.
- 기준선으로 시작합니다. 성장을 조정한 작년의 패턴 같은 단순한 전망을 만들고 오차를 측정하세요. 이겨야 할 기준으로 쓰세요.
- 설명할 수 있는 방법을 선호합니다. 복잡한 것이 떼어 둔 데이터에서 분명히 더 낫지 않다면 고전적 방법이나 단순한 모델을 쓰세요. 무엇이 전망을 좌우하는지 쉬운 말로 말할 수 있어야 합니다.
- 정직하게 검증합니다. 가장 최근 기간을 떼어 두고, 여러 기간에 걸쳐 백테스트하고, 누수를 점검하세요. 모델이 보지 못한 데이터의 오차를 보고하세요.
- 범위와 시나리오를 보여 줍니다. 가장 가능성 높은 값과 그럴듯한 범위를 주세요. 이벤트가 패턴을 바꿀 수 있는 곳에는 시나리오를 쓰세요. 거짓된 정밀함을 제시하지 마세요.
- 알려진 이벤트를 포함합니다. 출시, 마감, 휴일, 캠페인을 아는 사람들에게서 추가하세요. 판단으로 한 조정을 기록하세요.
- 임계값을 오류의 비용에 맞춥니다. 위험 점수에는 오경보와 놓침의 비용을 정하고, 그에 맞게 임계값을 설정하고, 보정을 점검하세요.
- 정확도와 드리프트를 모니터링합니다. 각 전망을 결과와 비교하고, 시간에 따른 오차를 추적하고, 정확도가 떨어지면 재훈련하거나 다시 만드세요. 감사할 수 있도록 전망의 기록을 유지하세요.
- 드문 사건의 예측을 지나치게 믿지 않습니다. 심각하지만 있을 법하지 않은 사건에는 시나리오, 스트레스 시험, 연습을 쓰세요.
- 결정으로 고리를 닫습니다. 내린 결정과 결과를 기록하고, 이를 전망과 결정 규칙을 개선하는 데 쓰세요.
팀과 논의할 질문
오늘 우리는 미래에 대한 추측에 기반해 어떤 결정을 내리며, 더 나은 추측이 있다면 무엇을 달리 하겠습니까? 인력, 용량, 릴리스 시점을 나열하세요. 여럿이 예상됩니다. 더 깊이 들어가려면, 하나를 골라 결정 규칙을 쓰세요.
우리의 마지막 세 전망은 얼마나 정확했으며, 어떻게 알았습니까? 숫자를 요청하세요. 아무도 확인하지 않았을 것으로 예상됩니다. 더 깊이 들어가려면, 과거 전망을 실적과 비교하고 기록을 유지하기로 합의하세요.
이에 통할 수 있는 가장 단순한 전망은 무엇이며, 복잡한 모델은 정당화되려면 얼마나 더 나아야 합니까? 기준선을 만드세요. 꽤 잘 나올 것으로 예상됩니다. 더 깊이 들어가려면, 더 복잡한 무엇이든 채택하기 위한 최소한의 개선을 정하세요.
이력으로 훈련된 모델이 모르는, 우리가 아는 이벤트는 무엇입니까? 출시, 마감, 정책 변경을 나열하세요. 많을 것으로 예상됩니다. 더 깊이 들어가려면, 입력으로 넣을지 조정으로 반영할지 정하세요.
변경의 위험 점수는 어떻게 쓰일 것이며, 오경보 대 놓침의 비용은 무엇입니까? 구체적으로 논의하세요. 서로 다른 견해가 예상됩니다. 더 깊이 들어가려면, 임계값과 첫 달 결과의 검토에 합의하세요.
AI가 전망하거나 예측하는 데 어떻게 도울 수 있으며, 틀렸음을 어떻게 알겠습니까? AI는 복잡한 패턴에 맞출 수 있고 패턴을 지어낼 수도 있습니다. 기준선과의 비교와 드리프트 모니터링 계획을 요청하세요. 더 깊이 들어가려면, 한 분기 동안 AI 전망을 현재 방법과 나란히 돌려 보세요.
실제 적용: 서비스 관리 사례
한 국가 학자금 대출 기관의 지원 데스크는 한 해의 대부분은 한가하다가 연간 신청 마감 전 2주 동안 압도됩니다. 지금까지 데스크 책임자는 작년의 경험을 떠올리고 여유를 더해 피크의 인력을 짰습니다. 2년 전에는 데스크 인력이 부족했고, 작년에는 임시 상담원에 과다 지출했습니다.
전망 개선을 요청받은 서비스 분석가는 결정으로 시작합니다. 6주 전에 상담원을 몇 명 예약할지, 5명 단위로, 2주 전에 최종 조정을 합니다. 그녀는 기준선을 만듭니다. 지난 4년의 각 날짜에 대해 마감까지의 일수 대비 접촉 수를, 지금까지의 신청자 수로 조정한 것입니다. 전년도의 떼어 둔 데이터에서 기준선의 피크 주 오차는 18퍼센트입니다. 날씨, 소셜 미디어 언급, 요일을 더한 더 복잡한 모델을 시도합니다. 같은 떼어 둔 해에서 오차가 15퍼센트로 개선되지만, 그 전해에서는 기준선보다 나쁘고 아무도 이유를 설명하지 못합니다. 그녀는 신규 신청자 수에 대한 단순한 조정을 더한 기준선을 고르고, 책임자에게 범위를 보여 줍니다. 피크 주에 접촉 11,000건에서 14,500건, 가장 가능성 높게는 12,500건입니다.
그녀는 비즈니스에 알려진 이벤트를 묻습니다. 마감 2주 전에 새 온라인 양식이 출시되는데, 접촉을 늘릴 수도 줄일 수도 있습니다. 시나리오 둘을 만듭니다. 양식이 접촉을 15퍼센트 줄이는 경우, 혼란 때문에 10퍼센트 늘리는 경우입니다. 책임자는 범위의 중간에 맞춰 예약하고, 상위 시나리오를 위한 대기 상담원 풀을 둡니다. 분석가는 전망, 시나리오, 결정을 기록합니다.
달라진 점은 피크 주의 실제 접촉이 13,800건으로 범위 안이었고 데스크가 과다 지출 없이 목표를 달성한다는 것입니다. 여전히 어려운 점은 양식 출시가 실제로 혼란을 더했는데 이를 예상한 것은 상위 시나리오뿐이었다는 것, 전망이 늦게 도착하는 신청자 데이터에 의존한다는 것, 고위 관리자가 단일 숫자를 요청해 분석가가 범위와 함께 주었다는 것입니다. 그녀는 가장 가능성 높은 값에 대한 10퍼센트라는 오차를 기록하고, 기준선 및 내년의 것과 비교하려 합니다.
네 가지 관점
제품 및 전달 팀
출시, 변경, 캠페인은 수요와 위험을 움직이므로 분석가에게 일찍 알리세요. 예측에 필요한 데이터를 제공하고, 위험 점수를 평결이 아니라 질문의 계기로 쓰세요.
서비스 및 운영 팀
상위 시나리오를 위한 여유를 두고 인력과 용량을 계획하는 데 전망을 쓰세요. 전망이 틀린 곳과 이유를 보고해 방법이 개선되게 하세요.
리더십과 거버넌스
결정, 기준선, 범위, 정확도 실적을 요청하세요. 불확실성을 받아들이세요. 데이터와 전망을 확인할 시간에 재원을 대세요. 단일 숫자를 요구하지 마세요.
고객과 사용자
제공자가 피크와 위험에 대비할 때 혜택을 봅니다. 캠페인처럼 수요에 영향을 줄 수 있는 여러분 자신의 계획을 제공자에게 알리고, 전망이 빗나갔음을 시사하는 문제를 신고하세요.
애자일, AI, 자동화, 분석
애자일
전망을 가설로 다루고, 자주 갱신하고, 기간마다 확인하세요. 이해관계자를 가정에 참여시키세요. 주의: 이전 전망을 기록하지 않고 계속 다시 전망하면 얼마나 틀렸는지 가려집니다.
AI
AI 방법은 검토 아래 많은 변수와 비정형 신호를 모델링하고 전망의 요약 초안을 쓸 수 있습니다. 오너를 지정하고, 기준선과 비교하고, 드리프트를 모니터링하세요. 주의: 범위나 떼어 둔 데이터에서의 시험이 없는 AI 전망은 겉만 번지르르한 추측입니다. 주제 5.1 — 서비스 관리에서의 AI를 참조하세요.
자동화
데이터 수집, 전망 실행, 예약된 알림을, 그리고 안전한 곳에서는 예상 부하에 앞선 확장 같은 행동을 한도와 함께 자동화하세요. 주의: 틀린 전망에 대한 자동 행동은 비용을 낭비하거나 해를 끼칠 수 있으므로, 한계를 정하고 검토하세요. 주제 6.1 — 자동화 전략을 참조하세요.
분석
전망 오차, 구간 적중률, 위험 점수의 보정, 내린 결정의 가치를 측정하세요. 주의: 평균 오차가 낮은 모델도 가장 중요한 피크에서는 실패할 수 있으므로, 오류의 비용이 가장 큰 곳에서 평가하세요. 서비스 관리 지표(Service Management Metrics) 책과 주제 7.1 — 서비스 관리를 위한 분석을 참조하세요.
흔한 실패 유형
- 아무것도 바꾸지 않는 전망. 그에 의존하는 결정이 없습니다. 결정에서 시작하세요.
- 기준선 없는 복잡한 모델. 단순한 것보다 나을 게 없습니다. 항상 비교하세요.
- 과적합과 누수. 시험 결과는 훌륭한데 현실은 형편없습니다. 나중 데이터를 떼어 두고 입력을 점검하세요.
- 단일 숫자. 거짓된 정밀함입니다. 범위와 시나리오를 보여 주세요.
- 알려진 이벤트 무시. 모델이 출시를 놓칩니다. 사람들이 아는 것을 더하세요.
- 모니터링 없음. 드리프트가 눈에 띄지 않습니다. 시간에 따른 정확도를 추적하세요.
- 드문 사건의 예측을 믿기. 꼬리 위험의 값이 잘못 매겨집니다. 시나리오와 연습을 쓰세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 결정과 기준선 | 추측 | 일부 전망 | 기준선이 있는, 이름 붙은 결정과 연결된 전망 | 전망의 가치를 검토한다 | 서비스 전반에서 전망이 계획과 통합된다 |
| 방법과 검증 | 점검되지 않는다 | 기본 방법 | 설명 가능한 방법, 백테스팅, 누수 점검 | 방법을 비교하고 개선한다 | 포트폴리오 전반에서 방법을 선택하고 모니터링한다 |
| 불확실성 | 단일 숫자 | 일부 범위 | 범위와 시나리오가 표준이다 | 구간 적중률과 보정을 측정한다 | 불확실성을 한도 안에서 자동화된 결정에 쓴다 |
| 모니터링 | 없음 | 가끔의 검토 | 정확도와 드리프트를 추적한다 | 증거로 재훈련과 재구축을 촉발한다 | 모델 전반에서 지속적으로 평가한다 |
체크리스트
- 각 전망이 그것이 알려 주는 결정과 임계값의 이름을 댄다.
- 모든 모델을 단순한 기준선과 비교한다.
- 떼어 둔 나중 데이터로 검증하고 누수를 점검한다.
- 범위를 보고하고, 이벤트가 패턴을 바꿀 수 있는 곳에는 시나리오를 쓴다.
- 비즈니스에서 알려진 이벤트를 포함하거나 조정으로 기록한다.
- 위험 점수에는 오경보와 놓침의 비용으로 정한 임계값이 있고, 보정을 점검한다.
- 전망을 기록하고, 결과와 비교하고, 드리프트를 모니터링한다.
- 드물고 심각한 사건에는 시나리오와 연습을 쓴다.
AI 프롬프트
데이터로 기준선을 만듭니다.
Here is a monthly count of [quantity] for the last [number] years: [paste].
Describe the trend and seasonal pattern, produce a simple baseline forecast for the next [period] (state the method and show the calculation), and give an approximate range based on the spread in past years. Do not use any method that needs data I have not provided.
List what you are unsure of.
전망 보고서를 점검합니다.
Here is a forecast report and how it was built: [paste].
List problems: no baseline comparison, no validation on held-back data, possible leakage, single numbers without ranges, missing known events, and claims that are stronger than the evidence. Quote the text for each. Do not redo the forecast.
List what you are unsure of.
시나리오의 초안을 작성합니다.
The decision: [describe]. The uncertain event: [describe]. What we know: [list].
Draft three scenarios (low, middle, high) with the assumption behind each, what we would see early if it were happening, and how our plan would differ. Do not assign probabilities.
List what you are unsure of.
AI 스킬
- demand-forecasting: 명시된 불확실성과 함께 미래 수요를 추정할 때 사용합니다.
- capacity-planning: 전망을 용량 결정으로 바꿀 때 사용합니다.
- trend-analysis: 추세와 계절성을 분석할 때 사용합니다.
- statistical-analysis: 방법을 고르고 점검할 때 사용합니다.
- budget-forecasting: 가정과 함께 비용을 전망할 때 사용합니다.
주요 출처
- Rob J. Hyndman and George Athanasopoulos, Forecasting: Principles and Practice (free online at otexts.com/fpp3): 전망 방법에 대한 명쾌하고 실용적인 교재.
- Nate Silver, The Signal and the Noise (2012): 예측과 그 함정에 대한 읽기 쉬운 설명.
- Wikipedia, "Forecasting" and "Overfitting": 분야와 그 주된 함정의 개관.
- Wikipedia, "Prediction interval": 불확실성을 표현하는 방법.
참고 문헌
- Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
- Predictive analytics — Wikipedia — https://en.wikipedia.org/wiki/Predictive_analytics
- Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
- Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
- Exponential smoothing — Wikipedia — https://en.wikipedia.org/wiki/Exponential_smoothing
- Autoregressive integrated moving average — Wikipedia — https://en.wikipedia.org/wiki/Autoregressive_integrated_moving_average
- Overfitting — Wikipedia — https://en.wikipedia.org/wiki/Overfitting
- Backtesting — Wikipedia — https://en.wikipedia.org/wiki/Backtesting
- Prediction interval — Wikipedia — https://en.wikipedia.org/wiki/Prediction_interval
- Scenario planning — Wikipedia — https://en.wikipedia.org/wiki/Scenario_planning
- Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
- Base rate fallacy — Wikipedia — https://en.wikipedia.org/wiki/Base_rate_fallacy