인시던트 관리
인시던트 관리는 정상 서비스를 가능한 한 빨리 복구하고 사용자에 대한 피해를 제한하기 위해 존재합니다. 심각도가 미리 합의되고, 역할이 분명하고, 소통이 꾸준하고, 사후 검토가 개인이 아니라 시스템을 볼 때 작동합니다.
왜 중요한가
인시던트는 서비스의 계획되지 않은 중단, 또는 품질의 저하입니다. 인시던트가 발생하면 관련된 사람들은 압박을 받고, 정보는 불완전하며, 시계는 돌아갑니다. 처음 십 분의 결정이 인시던트가 한 시간 가는지 여섯 시간 가는지를 좌우하는 경우가 많습니다.
인시던트를 잘 다루는 조직은 영웅에 의존하지 않습니다. 무언가가 얼마나 심각한지 어떻게 정할지, 누가 이끌지, 누가 사용자와 이야기할지, 어떻게 에스컬레이션할지, 언제 조사를 멈추고 우회 방법을 적용할지를 합의해 두었습니다. 그들은 연습했습니다. 인시던트를 잘못 다루는 조직은 매번 즉흥적으로 대응하고, 사건 중에 우선순위를 두고 다투고, 시스템을 아는 단 한 사람이 휴가 중이라는 것을 발견합니다.
이 주제는 인시던트 관리를 정의, 역할, 심각도, 소통, 검토라는 프랙티스로 설명합니다. 중대 인시던트에는 추가 구조를 두고, AI와 자동화가 어디서 도움이 되고 어디서 해가 될 수 있는지 다룹니다. 근본 원인을 찾는 문제 관리(주제 3.3 — 문제 관리)와 흔히 인시던트를 감지하는 모니터링(주제 3.10 — 모니터링과 이벤트 관리) 곁에 있습니다.
핵심 개념
인시던트. ITIL 4에서는 서비스의 계획되지 않은 중단 또는 서비스 품질의 저하입니다. Wikipedia의 인시던트 관리 문서가 IT 서비스 관리의 프랙티스를 설명합니다. 인시던트는 모니터링이 고장 나는 디스크를 보여 주는 것처럼 사용자가 알아채기 전에 존재할 수 있습니다.
먼저 서비스를 복구합니다. 목표는 근본 원인을 찾는 것이 아니라 서비스를 정상으로 복구하는 것입니다. 서비스를 복구하는 우회 방법은 좋은 결과이며, 근본 원인은 문제 관리의 몫입니다. 서비스가 멈춘 동안 원인을 파고드는 팀은 장애를 연장합니다.
우회 방법. 원인을 해결하지 않고 인시던트의 영향을 줄이거나 없애는 해결책입니다. 예를 들어 트래픽 경로 변경, 구성 요소 재시작, 수작업 프로세스로의 전환이 있습니다. 알려진 오류와 우회 방법이 어떻게 추적되는지는 주제 3.3 — 문제 관리를 참조하세요.
심각도와 우선순위. 심각도는 얼마나 많은 사용자가 얼마나 심하게 영향을 받는지 같은 사용자와 사업에 대한 영향을 설명합니다. 우선순위는 기한 같은 긴급성을 더합니다. 많은 조직이 네 단계처럼 작은 척도를 쓰며, 각 단계마다 정의와 기대하는 대응이 있습니다. 정의는 느낌이 아니라 "100명 넘는 사용자가 결제할 수 없다" 같은 관찰 가능한 사실을 써야 합니다.
중대 인시던트. 중대 인시던트는 영향이 크고 표준 프로세스보다 더 빠르고 더 조율된 대응이 필요합니다. 조직마다 자체 임계값을 정의합니다. 중대 인시던트에는 보통 지정된 인시던트 리드, 소통 리드, 정기적인 업데이트 주기가 있습니다.
역할. 인시던트 리드는 조율하고 결정합니다. 기술 대응자는 진단하고 고칩니다. 소통 리드는 이해관계자와 사용자에게 계속 알립니다. 기록자는 무엇이 언제 이루어졌는지 기록합니다. 작은 인시던트에서는 한 사람이 여러 역할을 맡을 수 있습니다. 비상 관리에서 쓰이고 Wikipedia가 설명하는 인시던트 지휘 체계(Incident Command System)는 많은 기술 조직이 쓰는 구조에 영향을 주었습니다.
에스컬레이션. 더 많은 기술이나 더 많은 권한을 끌어오는 것입니다. 기능적 에스컬레이션은 인시던트를 알맞은 전문성을 가진 사람들에게 옮깁니다. 계층적 에스컬레이션은 결정하거나 자원을 제공할 수 있는 관리자를 끌어옵니다. "심각도 1에서 30분 동안 진전이 없으면"과 같은 명확한 기준이 에스컬레이션을 실패의 신호가 아니라 일상으로 만듭니다.
온콜. 사람들이 정규 시간 외에도 연락이 닿도록 하는 체계입니다. 좋은 온콜 프랙티스에는 부하의 한도, 명확한 순번, 런북, 보상이 포함됩니다. 주제 2.6 — 사이트 신뢰성 엔지니어링을 참조하세요. Wikipedia가 설명하는 알람 피로 현상은 너무 잦거나 실행할 수 없는 알림을 사람들이 무시하게 만듭니다.
소통. 사용자와 이해관계자는 무엇이 영향을 받는지, 무엇을 하고 있는지, 언제 다시 소식을 듣게 되는지 알아야 합니다. 잦고 쉬운 업데이트는 반복 접촉과 불안을 줄입니다. Wikipedia의 위기 소통 문서가 일반적인 원칙을 제공합니다. 상태 페이지, 내부 채널, 주요 고객에게 보내는 직접 메시지는 각각 다른 독자를 섬깁니다.
인시던트 기록. 시작 시각, 증상, 조치, 결정, 종료 시각이 담긴 티켓 또는 기록입니다. 기록은 검토를 뒷받침하고 개선을 위한 데이터를 줍니다. 인시던트 동안 유지한 타임라인은 사후에 재구성한 것보다 더 정확합니다.
검토. 중요한 인시던트 후에는 무슨 일이 있었는지, 무엇이 도움이 되었는지, 무엇이 대응을 늦추었는지, 무엇을 바꿀지 살피는 비난 없는 검토를 여세요. 발견은 문제 관리와 개선 백로그로 갑니다. 주제 3.3 — 문제 관리를 참조하세요.
지표. Wikipedia의 설명에서 흔히 평균 복구 시간(MTTR)으로 요약되는 감지 시간, 대응 시간, 복구 시간이 흔합니다. 평균은 인시던트 간의 큰 차이를 가리고, 시작과 종료 시각을 정하는 방식으로 조작될 수 있습니다. 분포를 쓰고 개별 인시던트를 살피세요. 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.
렌즈는 어떻게 맞물리는가. 애자일 프랙티스는 각 검토를 피드백으로 다루고 개선을 작고 지속적으로 유지합니다. AI는 책임지는 사람과 함께 타임라인을 요약하고, 비슷한 과거 인시던트를 제안하고, 업데이트의 초안을 쓸 수 있습니다. 자동화는 재시작과 페일오버처럼 안전하고 잘 이해된 단계를 실행합니다. 분석은 재발의 패턴을 보여 줍니다.
모범 사례
- 관찰 가능한 사실로 심각도 단계를 정의합니다. 각 단계가 무엇을 뜻하는지, 누구에게 통보되는지, 얼마나 빨라야 하는지 적으세요. 분류하기 어려웠던 인시던트 후에 정의를 검토하세요.
- 역할을 지정하고 연습합니다. 누가 이끌고, 누가 소통하고, 누가 기록할지 합의하세요. 처음이 실제 위기가 되지 않도록 훈련으로 리허설하세요. 주제 3.12 — 서비스 연속성 관리를 참조하세요.
- 먼저 복구하고, 나중에 조사합니다. 우회 방법이 있고 안전하다면 적용한다는 규칙을 정하세요. 문제 관리를 위해 인시던트를 기록하고 넘어가세요.
- 실시간 타임라인을 유지합니다. 조치와 결정을 시각과 함께 공유된 장소에 발생하는 대로 기록하세요. 논쟁을 막고 검토를 빠르게 해 줍니다.
- 일찍, 비난 없이 에스컬레이션합니다. 에스컬레이션의 트리거를 정의하고 그것을 쓰는 것을 좋은 프랙티스로 다루세요. 늦게 에스컬레이션하는 사람은 비판을 두려워하므로 그 비판을 없애세요.
- 리듬에 맞춰 소통합니다. 심각도 단계마다 업데이트 간격에 합의하고, 새 소식이 없을 때도 그렇다고 밝히며 업데이트를 보내세요. 쉬운 말을 쓰세요.
- 대응자에게 필요한 것을 줍니다. 런북, 접근 권한, 대시보드, 연락처 목록을 유지하세요. 필요한 밤 전에 접근을 시험하세요.
- 사람을 보호합니다. 온콜 부하를 제한하고, 긴 인시던트는 교대하고, 대응자가 쉬도록 하세요. 피곤한 사람은 더 나쁜 결정을 내립니다.
- 비난 없이 검토하고 끝까지 이행합니다. 타임라인, 기여 요인, 책임자와 날짜가 있는 조치를 담은 짧은 보고서를 쓰세요. 조치를 완료까지 추적하세요. 주제 3.3 — 문제 관리를 참조하세요.
- 교훈을 되먹입니다. 런북, 모니터링, 설계를 갱신하세요. 학습을 다른 팀과 공유하고 반복되는 인시던트가 줄어드는지 확인하세요.
팀과 논의할 질문
인시던트가 얼마나 심각한지 어떻게 결정하며, 인시던트 중에 그것을 두고 다툰 적이 있습니까? 심각도에 대한 불일치는 시간을 낭비합니다. 최근 예를 요청하세요. 누가 묻느냐에 따라 답이 다르다는 말을 들을 수 있습니다. 더 깊이 들어가려면, 한 단계의 정의를 관찰 가능한 사실로 다시 쓰세요.
새벽 3시에 누가 인시던트를 이끌며, 그들은 자신이 리드임을 어떻게 압니까? 불분명한 리더십은 혼란의 흔한 원인입니다. 마지막 중대 인시던트에서 누가 결정했는지 물으세요. 서로 다른 답이 예상됩니다. 더 깊이 들어가려면, 리드를 어떻게 정하고 알릴지 합의하세요.
인시던트 동안 사용자는 우리에게서 무엇을 듣고, 얼마나 자주 듣습니까? 마지막 인시던트에서 사용자가 들은 것을 그들이 원했던 것과 비교하세요. 긴 침묵이 예상됩니다. 더 깊이 들어가려면, 업데이트 간격과 채널을 정하고 템플릿의 초안을 쓰세요.
우리는 무엇을 늦게 에스컬레이션했으며 그 이유는 무엇입니까? 이 질문은 두려움과 습관을 탐구합니다. 사람들은 무능해 보일까 봐, 또는 누군가를 깨울까 봐 미룰 수 있습니다. 무엇이 에스컬레이션을 더 쉽게 만들지 물으세요. 더 깊이 들어가려면, "30분 안에 진전이 없으면 에스컬레이션한다" 같은 규칙을 적으세요.
마지막 인시던트 검토는 무엇을 바꾸어야 한다고 말하며, 실제로 무엇이 바뀌었습니까? 이 질문은 이행을 시험합니다. 조치와 상태를 요청하세요. 일부가 몇 달 동안 열려 있을 것으로 예상됩니다. 더 깊이 들어가려면, 책임자와 날짜를 배정하고 한 달 후에 검토하세요.
인시던트 중에 AI는 어디서 도울 수 있으며, 사람이 결정해야 하는 곳은 어디입니까? AI는 타임라인을 요약하고, 과거 인시던트를 검색하고, 업데이트의 초안을 쓸 수 있습니다. 책임질 수는 없습니다. AI가 승인 없이 할 수 있는 조치가 있다면 무엇인지 물으세요. 더 깊이 들어가려면, 위험이 낮은 사용 하나를 고르고 그 출력을 어떻게 확인할지 합의하세요.
실제 적용: 서비스 관리 사례
한 전국 약국 체인의 디지털 팀은 고객이 반복 처방을 주문할 수 있는 앱을 운영합니다. 어느 금요일 저녁, 사용자의 약 30퍼센트에서 주문이 실패하기 시작합니다. 온콜 엔지니어는 데이터베이스에서 오류를 보고 순번에 따라 인시던트 리드에게 전화합니다. 리드는 사용자가 핵심 작업을 완료할 수 없으므로 심각도 2 인시던트를 선언하고, 소통 리드를 지정하고, 타임라인을 시작합니다.
15분 안에 팀은 그날 오후에 배포된 데이터베이스 변경을 의심합니다. 리드는 롤백이 안전한지 묻고, 변경을 한 엔지니어가 그렇다고 확인합니다. 팀이 롤백하자 주문은 5분 안에 복구됩니다. 첫 알림에서 복구까지 총 시간은 47분입니다. 소통 리드는 20분에 상태 페이지에 게시하고 35분에 다시 게시했으며, 복구 시점에 최종 업데이트를 하고 고객 서비스 팀에게 무엇을 말할지 알려 주었습니다.
다음 주에 팀은 비난 없는 검토를 엽니다. 타임라인은 주문 실패를 다루는 알림이 없었기 때문에 감지가 사용자 불만에 의존했음을, 변경은 검토되었지만 테스트 환경에 현실적인 데이터가 없었음을, 소통 리드가 상태 페이지에 무엇을 써도 되는지 확신하지 못해 첫 업데이트가 합의된 간격보다 느렸음을 보여 줍니다. 팀은 주문 실패율에 대한 알림을 추가하고, 테스트 데이터를 개선하고, 상태 페이지 템플릿을 작성합니다.
달라진 점은 다음의 비슷한 인시던트를 알림이 3분 안에 감지했다는 것입니다. 여전히 어려운 점은 테스트 데이터에 정당한 이유로 실제 환자 정보가 없어 현실성에 한계가 있다는 것, 순번에 데이터베이스를 안전하게 롤백할 수 있는 엔지니어가 여전히 적다는 것, 검토의 조치 목록이 열두 항목인데 팀에는 다섯 개를 할 시간밖에 없다는 것입니다. 팀은 위험에 따라 고르고 나머지는 날짜와 함께 백로그에 올립니다.
네 가지 관점
제품 및 전달 팀
복구를 염두에 두고 만드세요. 변경을 되돌릴 수 있게 하고, 사용자 영향을 보여 주는 알림과 로그를 추가하고, 진행하면서 런북을 쓰세요. 검토에 참여하고 설계에서 원인을 고치세요.
서비스 및 운영 팀
자신의 역할을 알고, 연습하고, 타임라인을 유지하세요. 일찍 에스컬레이션하고, 꾸준히 소통하고, 서로를 돌보세요. 배운 것을 검토에 가져와 런북과 모니터링을 개선하는 데 쓰세요.
리더십과 거버넌스
심각도 정의와 기대를 미리 합의하고, 비난을 배정하는 것에 저항하세요. 중대 인시던트 동안에는 리드를 지원하고 합의된 채널로만 업데이트를 요청하세요. 후속 조치에 재원을 대세요.
고객과 사용자
무엇이 영향을 받는지, 무엇을 하고 있는지, 언제 다시 소식을 듣게 되는지 신속하게 들어야 합니다. 보이는 것을 세부 사항과 함께 보고하세요. 중대 인시던트 후에는 무엇이 바뀌었는지 분명한 설명을 기대하세요.
애자일, AI, 자동화, 분석
애자일
인시던트 검토를 개선을 이끄는 짧은 피드백 순환으로 다루세요. 이해관계자에게 알리며 런북, 알림, 설계를 신속하게 작게 바꿉니다. 주의: 아무도 끝내지 못하는 긴 조치 목록은 이행되는 짧은 목록보다 나쁩니다.
AI
AI는 업데이트의 초안을 쓰고, 타임라인과 채팅을 요약하고, 비슷한 이전 인시던트를 찾을 수 있습니다. 인시던트 리드가 계속 책임지며, AI의 출력은 제안입니다. 주의: AI는 원인이나 시각을 지어낼 수 있고, 검토 없이 보낸 자동 초안 업데이트는 고객을 오도할 수 있으므로, 보내기 전에 항상 확인하세요. 주제 5.4 — 인시던트, 지식, 변경을 위한 생성형 AI를 참조하세요.
자동화
진단 데이터 수집, 알맞은 사람 호출, 검토된 재시작 실행처럼 안전하고 반복 가능한 대응 단계를 로그와 한도와 함께 자동화하세요. 주의: 인시던트 중에 행동하는 자동화는 상황을 악화시킬 수 있으므로, 수동 정지를 유지하고 안전한 환경에서 시험하세요. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.
분석
감지, 대응, 복구 시간, 각각의 분포, 반복 인시던트를 살피세요. 주의: 평균은 최악의 인시던트를 가리고, 시작과 종료의 정의는 다양하며, 팀을 평가하는 데 쓰이는 지표는 타임스탬프의 조작을 부르므로, 개별 인시던트도 연구하세요. 서비스 관리 지표(Service Management Metrics) 책과 주제 7.3 — 측정과 보고를 참조하세요.
흔한 실패 유형
- 인시던트 중에 다투는 심각도. 시간이 낭비됩니다. 관찰 가능한 사실로 정의를 쓰세요.
- 분명한 리드가 없음. 모두 행동하고 아무도 결정하지 않습니다. 리드를 지정하고 알리세요.
- 서비스가 멈춘 동안의 조사. 복구가 지연됩니다. 먼저 안전한 우회 방법을 적용하세요.
- 사용자에 대한 침묵. 불안과 반복 접촉이 늘어납니다. 리듬에 맞춰 업데이트하세요.
- 검토에서의 비난. 사람들이 실수를 숨깁니다. 비난 없는 검토를 열고 조치를 추적하세요.
- 영웅 의존. 한 사람이 모든 것을 고칩니다. 지식을 공유하고 런북을 쓰세요.
- 한도 없는 자동 조치. 자동화가 인시던트를 악화시킵니다. 한도, 로그, 수동 정지를 추가하세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 심각도와 프로세스 | 임시방편 | 비공식 단계 | 대응 기대가 있는 정의된 단계 | 단계를 데이터로 검토한다 | 프로세스가 서비스와 파트너 전반에 적응한다 |
| 역할과 연습 | 즉흥적 | 일부 역할이 지정되어 있다 | 역할을 정의하고 리허설한다 | 훈련을 측정하고 개선한다 | 훈련을 공급자 및 고객과 공유한다 |
| 소통 | 불규칙 | 기억날 때 업데이트 | 심각도별 업데이트 리듬과 채널 | 소통의 질을 검토한다 | 팀, 고객, 파트너 전반에 일관된다 |
| 학습 | 비난 | 가끔의 검토 | 추적되는 조치가 있는 비난 없는 검토 | 재발을 측정하고 줄인다 | 학습을 조직 전반에 공유한다 |
체크리스트
- 심각도 단계가 관찰 가능한 사실과 기대하는 대응으로 정의되어 있다.
- 인시던트 역할이 지정되어 있고 리허설한다.
- 에스컬레이션 트리거가 적혀 있다.
- 중요한 인시던트에 실시간 타임라인을 유지한다.
- 심각도별로 업데이트 간격과 채널이 정해져 있다.
- 온콜 부하가 제한되고 모니터링된다.
- 검토는 비난이 없고 조치는 완료까지 추적한다.
- 인시던트에 쓰는 AI와 자동화에 책임자, 한도, 검토가 있다.
AI 프롬프트
검토를 위해 인시던트 타임라인을 요약합니다.
Here are the chat messages and notes from an incident, with times and names removed: [paste text].
Produce a timeline of key events, a list of decisions and who made them (by role only), what helped, what slowed us down, and questions for the review. Use only the text and mark anything uncertain.
List what you are unsure of.
검토용 상태 업데이트의 초안을 작성합니다.
Facts we know: [paste confirmed facts]. Facts we do not know: [list]. Next update in: [time].
Draft a status update of under 80 words in plain language that states what is affected, what we are doing, and when the next update is due. Do not speculate about causes or give an estimate for recovery that is not in the facts.
List what you are unsure of.
심각도 정의를 점검합니다.
Our severity definitions: [paste]. Here are three past incidents with their impact: [paste].
For each incident, say which level the definitions suggest, quote the words you used, and note where the definitions were ambiguous. Do not change the definitions.
List what you are unsure of.
AI 스킬
- incident-response-plan: 인시던트 대응의 역할, 심각도, 단계를 정의할 때 사용합니다.
- postmortem: 추적되는 조치가 있는 비난 없는 검토를 진행할 때 사용합니다.
- runbook: 알려진 장애에 대한 대응 단계를 포착할 때 사용합니다.
- crisis-communication-plan: 사용자와 이해관계자에 대한 업데이트를 계획할 때 사용합니다.
- on-call-rotation: 지속 가능한 온콜 체계를 설계할 때 사용합니다.
주요 출처
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapters on incident response and postmortems, free at sre.google: 대규모 운영자의 실용적인 안내.
- PeopleCert, ITIL certification pages: 인시던트 관리 프랙티스에 대한 소유자의 설명.
- Wikipedia, "Incident management": 프랙티스의 개관.
- Wikipedia, "Incident Command System": 기술 인시던트 역할에 영향을 준 비상 관리 모델.
참고 문헌
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
- Mean time to recovery — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_to_recovery
- Escalation — Wikipedia — https://en.wikipedia.org/wiki/Escalation
- Crisis communication — Wikipedia — https://en.wikipedia.org/wiki/Crisis_communication
- Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
- Workaround — Wikipedia — https://en.wikipedia.org/wiki/Workaround
- Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
- Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/