왜 중요한가

인시던트를 잘 처리하는 팀도 순환에 갇힐 수 있습니다. 같은 종류의 장애가 매달 돌아오고, 대응자는 같은 우회 방법을 적용하고, 비용은 쌓입니다. 사용자의 낭비된 시간, 지친 온콜 직원, 아무것도 나아지지 않는다는 커져 가는 느낌입니다. 인시던트 관리는 서비스를 복구하지만 재발을 막지는 않습니다.

문제 관리는 그것을 하는 프랙티스입니다. 인시던트가 왜 일어나는지, 무엇이 막을지 묻고, 답을 행동할 수 있는 사람에게 배정합니다. 또한 아직 고쳐지지 않은 장애에 대해 알려진 것을 기록으로 유지해 다음 대응자가 아무것도 없이 시작하지 않게 합니다.

애자일 팀에게 이 프랙티스는 지속적 개선에 자연스럽게 맞습니다. 발견이 백로그 항목이 되어 하나의 목록에서 기능과 경쟁합니다. 약점은 대개 방법이 아니라 우선순위입니다. 누군가 재발의 비용을 눈에 보이게 하지 않으면 원인을 고치는 일은 흔히 새로운 일에 밀립니다. 이 주제는 프랙티스, 원인을 찾는 주요 방법, 발견이 보고서 속에서 죽지 않게 하는 방법을 설명합니다. 인시던트 관리(주제 3.2 — 인시던트 관리), 지식 관리(주제 3.9 — 지식 관리), 지속적 개선(주제 3.15 — 지속적 개선)의 가까운 짝입니다.

핵심 개념

문제. ITIL 4에서는 하나 이상의 인시던트의 원인, 또는 잠재적 원인입니다. 문제는 수정이 존재하기 전에 존재합니다. 인시던트를 일으키고 있다고 알려졌거나 의심만 될 수 있습니다. 모든 인시던트가 문제 기록으로 이어지는 것은 아닙니다.

알려진 오류. 분석되었지만 해결되지 않은 문제로, 흔히 문서화된 우회 방법이 있습니다. Wikipedia가 ITIL 용법으로 이 용어를 설명합니다. 알려진 오류 기록은 서비스 데스크와 대응자가 우회 방법을 빠르게 찾고 영구 수정의 상태를 볼 수 있게 합니다.

우회 방법. 원인을 고치지 않고 영향을 줄이거나 피하는 방법입니다. 우회 방법은 삶을 견딜 만하게 하며 방치되어 영구적이 될 수 있습니다. 좋은 기록은 우회 방법, 누가 적용할 수 있는지, 실제 수정이 예상되는 날짜를 밝혀 임시적인 것이 조용히 영구적이 되지 않게 합니다.

활동. 인시던트 추세, 모니터링, 검토에서 문제를 찾는 문제 식별, 원인을 분석하고 알려진 오류를 문서화하는 문제 통제, 알려진 오류를 해결되거나 수용될 때까지 관리하는 오류 통제입니다. ITIL은 이를 별개의 프로세스가 아니라 하나의 프랙티스의 부분으로 설명합니다.

사전 예방과 사후 대응. 사후 대응적 문제 관리는 이미 일어난 인시던트에 대응합니다. 사전 예방적 문제 관리는 아차 사고, 알림의 추세, 변경 검토를 연구하는 것처럼 인시던트를 일으키기 전에 약점을 찾습니다.

근본 원인 분석. 문제의 근본적인 원인을 찾는 방법의 집합입니다. Wikipedia가 근본 원인 분석을 설명하고 흔한 기법을 나열합니다. 익숙한 것으로는 다음이 있습니다.

  • 5 Whys: 조치할 수 있는 원인에 이를 때까지 반복해서 "왜"를 묻습니다.
  • 인과 관계(이시카와 또는 피시본) 다이어그램: 논의를 이끌기 위해 가능한 원인을 범주별로 펼칩니다.
  • 결함 트리 분석: 장애에서 거꾸로 그것을 일으킬 수 있는 사건의 조합을 따라갑니다.
  • 파레토 분석: 대부분의 인시던트 뒤에 있는 소수의 원인을 찾는 데 건수를 씁니다.
  • 고장 유형 및 영향 분석(FMEA): 시스템의 각 부분이 어떻게 고장 날 수 있고 무엇이 뒤따르는지 검토합니다.

원인에 대한 주의. 복잡한 시스템에 단일한 근본 원인이 있는 경우는 드뭅니다. Wikipedia가 설명하는 스위스 치즈 모델은 장애를 여러 방어 층에 있는 약점들의 정렬로 그립니다. "그" 근본 원인을 찾는 일은 처음의 편리한 설명에서 멈추는 경향이 있습니다. 기여 요인에 이름을 붙이고 어느 것을 바꾸는 것이 가장 싸고 가치 있는지 결정하는 편이 대개 더 유용합니다.

비난 없는 문화와 공정한 문화. 비난은 학습을 멈춥니다. 사람들은 실수를 숨기고 검토는 방어적이 됩니다. 비난 없는 검토는 시스템의 무엇이 그 행동을 그 당시에 합리적으로 만들었는지 봅니다. Wikipedia가 설명하는 공정한 문화(just culture)는 정직한 오류와 무모한 행동을 구분하고 각각을 다르게 다룹니다. Wikipedia의 인적 오류와 사후 판단 편향 문서는 "누군가 알았어야 했다"가 왜 유용한 발견이 되는 일이 드문지 설명합니다.

포스트모템. 중요한 인시던트 후에 쓰는 검토 문서로, 무슨 일이 있었는지, 영향, 타임라인, 기여 요인, 잘된 점, 조치를 다룹니다. Wikipedia의 포스트모템 문서를 참조하세요. 좋은 포스트모템은 읽히고 조치로 이어지고, 나쁜 포스트모템은 보관될 뿐입니다.

문제의 우선순위 정하기. 용량보다 문제가 언제나 더 많습니다. 사용자 시간 손실이나 비용 같은 영향, 빈도, 수정이 얼마나 싼지로 순위를 매기세요. 재발의 비용을 보여 주세요. Wikipedia가 설명하는 기술 부채라는 용어는 미뤄진 알려진 문제를 포함하며, 추적하면 선택이 눈에 보입니다.

변경과의 연결. 문제를 고치려면 대개 변경이 필요합니다. 일반 변경 프랙티스를 통해 제기하고, 수정이 확인되면 문제 기록이 닫히게 하세요. 주제 3.4 — 변경 실현을 참조하세요.

지식과의 연결. 알려진 오류와 그 우회 방법은 서비스 데스크와 온콜 직원이 찾을 수 있는 지식 문서에 나타나야 합니다. 주제 3.9 — 지식 관리를 참조하세요.

렌즈는 어떻게 맞물리는가. 문제 관리는 애자일 개선이 운영과 만나는 곳입니다. 발견이 백로그로 가서 공개적으로 경쟁합니다. AI는 검토 아래 인시던트를 군집화하고, 후보 문제를 제안하고, 포스트모템의 초안을 쓸 수 있습니다. 자동화는 재발을 감지하고 시험된 우회 방법을 적용할 수 있습니다. 분석은 재발과 비용을 보여 줍니다.

모범 사례

  1. 단일 인시던트만이 아니라 패턴을 찾습니다. 서비스, 구성 요소, 변경, 시간별로 반복이 있는지 인시던트를 정기적으로 검토하세요. 패턴이 나타나면 문제를 여세요.
  2. 눈에 보이는 문제 목록을 유지합니다. 각 문제를 오너, 연결된 인시던트, 영향, 우회 방법, 계획과 함께 기록하세요. 대응자가 읽기 쉽게 만드세요.
  3. 알려진 오류를 우회 방법과 함께 문서화합니다. 지친 온콜 담당자가 따를 수 있게 쓰고, 서비스 데스크의 지식 베이스에 연결하세요.
  4. 문제에 맞는 방법을 고릅니다. 단순한 경우에는 5 Whys, 그룹 논의에는 피시본, 복잡한 장애에는 결함 트리, 어디에 집중할지 찾는 데는 파레토 차트를 쓰세요. 작은 문제에 무거운 방법을 적용하지 마세요.
  5. 한 명의 범인이 아니라 기여 요인에 이름을 붙입니다. 장애를 가능하게 한 모든 조건을 나열하고 어느 것을 바꾸는 것이 현실적인지 평가하세요. "인적 오류"로 끝나는 발견을 피하세요.
  6. 비난 없는 검토를 엽니다. 관련된 사람들을 초대하고, 규칙을 말하고, 시스템에 초점을 맞추세요. 작성된 검토를 널리 공유하세요.
  7. 조치를 구체적이고 책임자가 있게 만듭니다. 각 조치에 지정된 사람, 날짜, 완료를 확인할 방법을 두세요. 팀이 실제로 일하는 백로그에 올리세요.
  8. 고치지 않는 비용을 보여 줍니다. 문제마다 인시던트 시간, 사용자 영향, 온콜 부하를 집계하고 그 합계를 우선순위 정하는 데 쓰세요. 우선순위를 정하는 사람들에게 보여 주세요.
  9. 순환을 닫습니다. 수정이 릴리스되면 인시던트가 멈추는지 확인하고, 지식 문서를 갱신하고, 기록을 닫으세요. 문제가 남아 있으면 다시 여세요.
  10. 프랙티스를 검토합니다. 열린 문제가 몇 개이고, 얼마나 오래 가며, 반복 인시던트가 줄어드는지 확인하세요. 고칠 가치가 없는 문제는 기록된 결정과 함께 폐기하세요.

팀과 논의할 질문

지난 6개월 동안 세 번 이상 일어난 인시던트는 무엇이며, 왜 아직도 일어납니까? 실제 예에서 시작하세요. "손을 못 댔다"와 "원인을 모른다"가 섞여 있을 것으로 예상됩니다. 각 재발이 얼마나 비용이 들었는지 물으세요. 더 깊이 들어가려면, 고칠 것 하나와 공식적으로 수용할 것 하나를 고르세요.

어떤 문제를 먼저 고칠지 어떻게 결정하며, 누가 결정합니까? 우선순위 정하기는 흔히 암묵적입니다. 가장 목소리가 큰 사람이 이긴다는 말을 들을 수 있습니다. 어떤 데이터를 쓰는지 물으세요. 더 깊이 들어가려면, 기준에 합의하고 상위 다섯 문제의 비용을 보여 주세요.

우리가 마지막으로 검토에 "인적 오류"라고 썼을 때, 시스템은 무엇을 허용했습니까? 이 질문은 비난 없는 프랙티스를 시험합니다. 과거 검토 하나를 골라 무엇이 그 행동을 쉽게 했는지 물으세요. 빠진 방어 장치, 불분명한 정보, 시간 압박을 찾으세요. 더 깊이 들어가려면, 발견을 시스템의 관점으로 다시 쓰세요.

알려진 오류와 우회 방법은 어디에 있으며, 지친 사람이 새벽 3시에 찾을 수 있습니까? 채팅 스레드에 흩어진 지식은 찾기 어렵습니다. 함께 하나를 찾아 보세요. 지연이 예상됩니다. 더 깊이 들어가려면, 한 곳과 이름 짓는 습관을 합의하세요.

지난 세 번의 검토에서 나온 조치 중 아직 열려 있는 것은 무엇이며 그 이유는 무엇입니까? 이 질문은 이행을 시험합니다. 기능 작업과의 경쟁이 예상됩니다. 둘 사이의 우선순위를 누가 정하는지 물으세요. 더 깊이 들어가려면, 문제 조치를 위한 용량의 비율을 합의하세요.

AI는 인시던트의 패턴을 찾는 데 어떻게 도움이 되며, 그것이 옳다는 것을 어떻게 확인합니까? AI는 인시던트를 묶고 원인을 제안할 수 있습니다. 잘못된 패턴을 찾을 수도 있습니다. 누가 어떻게 검토하는지 물으세요. 더 깊이 들어가려면, 표본에서 AI의 분류를 수작업 분류와 비교하세요.

실제 적용: 서비스 관리 사례

한 대학의 학습 플랫폼 팀에는 몇 주마다 반복되는 인시던트가 있습니다. 마감 근처에 학생들이 과제를 제출할 수 없습니다. 서비스 데스크는 같은 우회 방법, 즉 큐 서비스를 재시작해 15분 안에 제출을 복구합니다. 매번 인시던트는 닫히고 잊힙니다.

서비스 오너는 이를 문제로 다루자고 제안합니다. 그녀는 마지막 아홉 건의 인시던트를 모아 각각의 시각, 당시의 부하, 직전 일주일에 이루어진 변경을 기록합니다. 원인 범주가 하나뿐이어서 파레토 분석은 도움이 되지 않지만, 타임라인은 모든 인시던트가 제출이 급증하는 마감 한 시간 안에 일어났음을 보여 줍니다. 개발자와 운영 팀이 함께한 피시본 논의는 기여 요인을 나열합니다. 큐 서비스에 고정된 메모리 한도가 있다, 가득 차기 전에 경고하는 알림이 없다, 최근 변경이 제출물 하나의 크기를 키웠다, 용량 계획에 마감 피크가 포함되지 않았다.

팀은 세 가지 조치를 지정합니다. 메모리 한도를 올리고 새 피크를 시험하고, 용량의 70퍼센트에서 알림을 추가하고, 서비스 데스크가 우회 방법과 수정의 상태를 볼 수 있도록 알려진 오류 문서를 씁니다. 또한 용량 검토에 마감 일정표를 추가합니다. 서비스 오너는 이 문제가 석 달 동안 약 15시간의 학생 불편과 아홉 번의 온콜 방해를 일으켰음을 경영진에게 보여 주고, 이 작업은 작은 기능보다 앞서 일정에 잡힙니다.

달라진 점은 다음 마감이 인시던트 없이 지나갔고, 알림이 72퍼센트에서 한 번 울려 조치할 시간을 주었다는 것입니다. 여전히 어려운 점은 한도 변경이 임시방편이었다는 것으로, 큐 서비스는 더 큰 파일을 위해 재설계가 필요하며 이는 다음 학기 로드맵과 경쟁합니다. 비용 수치는 티켓 시간에서 나온 추정치이고, 검토는 앞선 크기 변경이 제대로 시험되었는지는 살피지 않았습니다. 오너는 재설계를 검토 날짜와 함께 아직 열린 문제로 기록합니다.

네 가지 관점

제품 및 전달 팀

문제 조치를 여러분의 백로그의 일부로 다루세요. 설계에서 원인을 고치고, 알려진 장애를 잡는 테스트와 알림을 추가하고, 검토에 기여하세요. 문제를 운영 팀에게만 넘기지 마세요.

서비스 및 운영 팀

패턴과 알려진 오류를 기록하고, 비용과 재발에 대한 데이터를 계획에 가져오세요. 우회 방법을 문서화하고 찾을 수 있게 유지하세요. 사람들이 안전하게 참석한다고 느끼는 검토를 운영하세요.

리더십과 거버넌스

반복되는 인시던트와 그 비용을 보여 달라고 요청하고, 그것을 고칠 용량을 지키세요. 검토가 논의되는 방식에서 비난에 대한 두려움을 살피세요. 열린 문제의 경과 기간을 추적하세요.

고객과 사용자

반복되는 문제에 원인과 수정이 있을 때 듣게 되어야 합니다. 같은 문제를 두 번 보고하면 그렇다고 알리세요. 그것에 대해 무엇이 이루어졌는지 물으세요.

애자일, AI, 자동화, 분석

애자일

문제 조치를 기능과 같은 백로그에 올리고 이해관계자와 검토하며 작은 수정을 지속적으로 전달하세요. 주의: 문제 작업이 늘 기능 뒤로 밀리면 백로그가 커지고 인시던트가 계속됩니다. 보호된 용량의 비율에 합의하세요.

AI

AI는 인시던트를 묶고, 변경과 연결하고, 후보 원인을 제안하고, 타임라인에서 포스트모템의 초안을 쓸 수 있으며, 사람이 확인합니다. 각 사용에 책임자를 지정하세요. 주의: AI는 원인을 지어내거나 패턴을 과장할 수 있으므로, 제안을 가설로 다루고 데이터로 시험하세요. 주제 5.2 — AIOps와 주제 5.4 — 인시던트, 지식, 변경을 위한 생성형 AI를 참조하세요.

자동화

재발의 감지, 패턴에서 문제 기록 생성, 시험된 우회 방법을 로그와 한도와 함께 자동화하세요. 주의: 자동화된 우회 방법은 악화되는 문제를 가릴 수 있으므로, 얼마나 자주 작동하는지 추적하고 에스컬레이션 임계값을 정하세요. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.

분석

재발률, 열린 문제의 경과 기간과 비용, 알려진 문제에 연결된 인시던트의 비율을 살피세요. 주의: 닫힌 문제의 수는 일찍 닫거나 쪼개서 조작될 수 있으므로, 인시던트가 실제로 줄어드는지 확인하세요. 서비스 관리 지표(Service Management Metrics) 책과 주제 7.3 — 측정과 보고를 참조하세요.

흔한 실패 유형

  • 인시던트만 고치고 원인은 고치지 않음. 우회 방법이 영구적이 됩니다. 패턴이 나타나면 문제를 여세요.
  • 단일 근본 원인 사냥. 팀이 편리한 답에서 멈춥니다. 기여 요인을 나열하고 무엇을 바꿀지 고르세요.
  • 비난. 사람들이 오류를 숨깁니다. 비난 없는 검토를 열고 시스템 변경을 추적하세요.
  • 책임자 없는 보고서. 조치는 나열되지만 이행되지 않습니다. 책임자와 날짜를 배정하고 검토하세요.
  • 비용을 보여 주지 않음. 문제가 기능에 밀립니다. 재발의 비용을 집계하세요.
  • 찾기 어려운 알려진 오류. 대응자가 처음부터 시작합니다. 검색 가능한 한 곳을 유지하세요.
  • 확인 없이 닫기. 수정이 작동하지 않습니다. 닫기 전에 인시던트가 멈추는지 확인하세요.

성숙도 모델

영역 시작 발전 표준화 관리 오케스트레이션
식별 큰 인시던트 후에만 일부 반복 인시던트를 검토한다 정기적인 패턴 검토가 문제를 연다 추세와 아차 사고를 사전에 활용한다 문제를 자동으로, 서비스 전반에서 찾는다
분석 추측 비공식 방법 문제 유형별 표준 방법 방법의 질을 검토한다 팀과 파트너 전반에 분석을 공유한다
알려진 오류 머릿속에 있다 일부 문서화되어 있다 찾을 수 있는 곳에 우회 방법과 함께 기록된다 사용과 정확성을 검토한다 서비스 전반에서 자동화와 지식에 연결된다
조치와 학습 비난과 사라지는 조치 가끔의 후속 조치 백로그에 책임자가 있는 조치, 비난 없는 검토 재발과 조치 완료를 측정한다 학습을 조직 전반에 공유하고 적용한다

체크리스트

  • 반복이 있는지 인시던트를 정기적으로 검토한다.
  • 책임자와 비용이 있는 눈에 보이는 문제 목록을 유지한다.
  • 알려진 오류와 우회 방법이 찾을 수 있는 곳에 문서화되어 있다.
  • 검토는 비난이 없고 기여 요인에 이름을 붙인다.
  • 모든 조치에 책임자, 날짜, 완료를 확인할 방법이 있다.
  • 문제 작업이 백로그에 보호된 용량을 갖는다.
  • 문제를 닫기 전에 수정을 확인한다.
  • 분석에 쓰는 AI에 책임자와 표본 검토가 있다.

AI 프롬프트

반복 인시던트를 찾습니다.

Below is a list of incidents with dates, services, short descriptions, and resolutions, with names removed: [paste list].
Group those that look like repeats, state what they have in common, and list for each group two questions to investigate. Do not name causes. Mark groups you are unsure of.
List what you are unsure of.

검토를 기여 요인 목록으로 바꿉니다.

Here is a postmortem draft: [paste, names removed].
List contributing factors in categories (technical, process, information, people and workload, suppliers), quoting the text for each, and list what the draft does not say about each. Do not assign blame or add causes.
List what you are unsure of.

재발의 비용을 추정합니다.

For problem [name] we have these records: incident count, duration of each, users affected, on-call interruptions: [paste data].
Calculate total hours, hours per incident, and per month, showing every step. State what data is missing for a fair cost estimate. Do not guess missing numbers.
List what you are unsure of.

AI 스킬

주요 출처

  • Sidney Dekker, The Field Guide to Understanding "Human Error": 개인을 탓하는 것이 왜 실패하며 대신 무엇을 봐야 하는지에 대하여.
  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on postmortem culture, free at sre.google.
  • PeopleCert, ITIL certification pages: 문제 관리 프랙티스에 대한 소유자의 설명.
  • Wikipedia, "Root-cause analysis" and "Postmortem documentation": 방법과 문서의 개관.

참고 문헌

  1. Root-cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root-cause_analysis
  2. Known error — Wikipedia — https://en.wikipedia.org/wiki/Known_error
  3. Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
  4. Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
  5. Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
  6. Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
  7. Pareto principle — Wikipedia — https://en.wikipedia.org/wiki/Pareto_principle
  8. Swiss cheese model — Wikipedia — https://en.wikipedia.org/wiki/Swiss_cheese_model
  9. Just culture — Wikipedia — https://en.wikipedia.org/wiki/Just_culture
  10. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  11. Technical debt — Wikipedia — https://en.wikipedia.org/wiki/Technical_debt