왜 중요한가

문제의 첫 신호는 사용자가 아니라 여러분 자신의 시스템에서 와야 합니다. 그것이 모니터링의 약속입니다. 서비스의 건강 상태를 계속 관찰하고, 대부분의 사용자가 알아채기 전에 이탈을 알아챕니다. 실제로 많은 팀이 아무도 조치하지 않는 알림에 파묻혀 있는 동안 여전히 사용자가 먼저 문제를 보고한다는 것을 발견합니다.

두 경험의 차이는 설계입니다. 임계값을 넘을 때마다 알림을 내는 모니터링 구성은 수신자가 알림을 무시하도록 가르칩니다. Wikipedia는 이를 알람 피로로 설명하는데, 병원에서 처음 연구된 현상으로, 너무 많은 알람에 노출된 직원이 둔감해져 중요한 것을 놓칩니다. 사용자가 경험하는 것을 측정하고, 조치가 필요할 때만 알리고, 대응자에게 맥락을 주는 구성은 모니터링을 조기 경보 시스템으로 바꿉니다.

모니터링은 장애를 잡는 것보다 더 큰 역할도 합니다. 용량 계획, 성능 작업, 릴리스가 건강한지 확인하는 일, 무엇을 개선할지 결정하는 일에 데이터를 제공합니다. 이 주제는 유용한 모니터링과 소음을 구분하는 어휘와 프랙티스를 설명합니다. 인시던트 관리(주제 3.2 — 인시던트 관리), 가용성과 용량(주제 3.11 — 가용성, 용량, 성능), 관측 가능성(주제 7.4 — 관측 가능성과 텔레메트리)에 밀접하게 연결됩니다.

핵심 개념

모니터링. 서비스와 그 구성 요소의 상태에 대한 데이터를 수집하고, 처리하고, 사용하는 것입니다. Wikipedia는 시스템 모니터링과 네트워크 모니터링을 결함과 성능을 위해 시스템을 지켜보는 프랙티스로 설명합니다. 모니터링은 알려진 질문에 답합니다. 켜져 있는가, 빠른가, 가득 찼는가?

이벤트. ITIL 4에서는 서비스 또는 다른 구성 아이템의 관리에 중요한 모든 상태 변화입니다. 이벤트는 정보성, 경고, 예외일 수 있습니다. 많은 이벤트는 정상이며 조치가 필요하지 않습니다. 프랙티스는 어느 것이 그런지 결정하는 것입니다.

알림. 이벤트에 주의가 필요하다는 통지입니다. 모든 이벤트가 알림이 되어서는 안 됩니다. 좋은 알림은 사람에게 지금 조치가 필요한 무언가가 있고, 무엇이 잘못되었으며, 어디를 봐야 하는지 알려 줍니다.

알람 피로. 알림이 너무 많거나 너무 많은 것이 거짓일 때 알림에 대한 민감도를 잃는 것입니다. Wikipedia의 알람 피로 문서를 참조하세요. 징후로는 읽지 않고 확인된 알림, 음소거된 채널, 늦게 발견된 인시던트가 있습니다. 규율의 문제가 아니라 설계의 문제입니다.

메트릭, 로그, 트레이스. 세 가지 흔한 종류의 텔레메트리입니다. 메트릭은 요청률이나 메모리 사용량처럼 시간에 따른 수치 측정입니다. 로그는 이벤트의 타임스탬프가 있는 기록입니다. 트레이스는 분산 시스템의 부분을 거치는 요청을 따라갑니다. Wikipedia의 텔레메트리와 로그 관리 문서가 일반적인 생각을 설명합니다. 함께 모니터링과 관측 가능성에서 다루는 더 깊은 조사를 뒷받침합니다.

관측 가능성. 시스템의 출력으로부터 내부 상태를 이해하는 능력입니다. Wikipedia는 소프트웨어의 관측 가능성을 예상하지 못한 질문으로 모니터링을 확장하는 것으로 설명합니다. 둘은 겹칩니다. 모니터링은 알려진 장애를 지켜보고, 관측 가능성은 알려지지 않은 장애를 조사하는 데 도움이 됩니다. 주제 7.4 — 관측 가능성과 텔레메트리를 참조하세요.

증상과 원인. 증상은 느린 응답처럼 사용자나 서비스가 경험하는 것이고, 원인은 가득 찬 디스크처럼 그 뒤에 있는 것입니다. 증상에 알림을 걸면 사용자가 영향을 받고 있음을 알 수 있습니다. 가능한 모든 원인에 알림을 걸면 소음이 생깁니다. 많은 팀이 증상에 알림을 걸고 원인 수준의 메트릭을 조사에 사용합니다.

임계값과 기준선. "CPU 90퍼센트 초과" 같은 고정 임계값은 단순하며 흔히 틀리는데, 정상 수준이 시간과 부하에 따라 달라지기 때문입니다. 기준선은 시간대별 정상이 무엇인지 학습하고 이탈에 알림을 냅니다. Wikipedia의 이상 탐지 문서가 그 생각과 주의점을 설명합니다.

이벤트 상관 분석. 관련된 이벤트를 결합하여 근본적인 문제를 찾아, 하나의 고장 난 구성 요소에서 오는 백 개의 알림을 하나로 만듭니다. Wikipedia가 이벤트 상관 분석을 설명합니다. 규칙 기반일 수도 있고 머신러닝을 쓸 수도 있습니다. 주제 5.2 — AIOps를 참조하세요.

합성 모니터링과 실제 사용자 모니터링. 합성 모니터링은 사용자를 흉내 내는 스크립트된 테스트를 실행하여 여정이 작동하는지 정기적으로 확인합니다. 실제 사용자 모니터링은 실제 사용자의 경험을 기록합니다. Wikipedia가 둘 다 설명합니다. 합성 점검은 조용한 시간의 장애를 잡고, 실제 사용자 데이터는 사람들이 실제로 경험하는 것을 보여 줍니다.

애플리케이션 성능 관리. 응답 시간과 오류율을 포함해 애플리케이션의 성능과 가용성을 모니터링하는 도구와 프랙티스입니다. Wikipedia가 이 분야를 설명합니다.

실행 가능성. 모든 알림에는 "런북을 확인한다"라도 정의된 조치가 있어야 합니다. 사람이 무엇을 해야 할지 말할 수 없다면 알림은 제거하거나 보고서로 바꿔야 합니다. 주제 3.9 — 지식 관리를 참조하세요.

배분과 에스컬레이션. 알림은 온콜 일정을 사용해 조치할 수 있는 사람들에게 가며, 확인이 없으면 에스컬레이션됩니다. 주제 3.2 — 인시던트 관리를 참조하세요.

이벤트 관리와 ITIL. ITIL 4는 "모니터링과 이벤트 관리"를 서비스와 서비스 구성 요소를 체계적으로 관찰하고 선택된 상태 변화를 기록하고 보고하는 프랙티스로 설명합니다. 강조점은 어떤 이벤트가 중요한지, 각각에 대해 무엇을 할지 결정하는 것입니다.

렌즈는 어떻게 맞물리는가. 모니터링은 지속적 전달의 피드백 측면입니다. 변경이 건강한지 보여 줍니다. 애자일 프랙티스는 알림의 질을 백로그 항목으로 다룹니다. AI는 검토 아래 소음을 줄이고, 이벤트를 상관 분석하고, 요약할 수 있습니다. 자동화는 잘 이해된 이벤트에 조치할 수 있습니다. 분석은 추세와 소음의 비용을 보여 줍니다.

모범 사례

  1. 사용자가 느끼는 것에 알림을 겁니다. 실패한 요청, 느린 페이지, 실패한 작업 같은 증상으로 시작하세요. 원인이 믿을 만한 조기 경보가 아니라면, 원인 메트릭은 호출이 아니라 진단에 쓰세요.
  2. 모든 알림을 실행 가능하게 만듭니다. 알림마다 그것이 무엇을 뜻하는지, 누가 조치하는지, 먼저 무엇을 하는지 쓰세요. 런북에 연결하세요. 조치가 없는 알림은 제거하세요.
  3. 양을 낮게 유지합니다. 온콜 담당자가 교대당 받는 알림 수를 세고 한도를 정하세요. 가장 시끄러운 알림을 매주 검토하고 고치거나 삭제하세요.
  4. 긴급에는 호출, 나머지는 티켓. 누군가 지금 조치해야 할 때만 전화나 호출을 쓰세요. 다른 신호는 대기열이나 보고서로 보내세요. 차이를 분명히 정의하세요.
  5. 기준선을 신중하게 씁니다. 정상이 시간과 부하에 따라 달라지는 곳에서는 시간 인식 임계값이나 이상 탐지를 쓰고 검토하세요. 대응하는 사람들에게 설명할 수 없는 모델을 신뢰하지 마세요.
  6. 관련된 알림을 묶습니다. 같은 원인에서 온 이벤트를 상관 분석하고, 의존 대상이 실패하면 하류의 알림을 억제하세요. 맥락과 함께 메시지를 하나 보내세요.
  7. 사용자의 관점에서 점검합니다. 핵심 여정에 합성 점검을 추가하고 경험에는 실제 사용자 데이터를 쓰세요. 사용자가 로그인할 수 없는데 서버는 "켜져 있을" 수 있습니다.
  8. 모니터링을 모니터링합니다. 알림이 사람에게 닿는지, 호출 시스템이 작동하는지, 모니터링의 조용한 실패 자체가 감지되는지 시험하세요. 가끔 종단 간 테스트를 실행하세요.
  9. 인시던트 후에 검토합니다. 어떤 알림이 울렸고, 어떤 알림이 울렸어야 했으며, 어떤 것이 소음이었는지 물으세요. 인시던트 검토에서 조정하세요. 주제 3.3 — 문제 관리를 참조하세요.
  10. 대시보드와 맥락을 공유합니다. 개발자, 운영, 지원이 같은 데이터에 접근하게 하고, 최근 변경의 영향을 보여 주세요. 아무도 쓰지 않는 대시보드를 피하세요.

팀과 논의할 질문

사용자가 모니터링보다 먼저 알려 준 마지막 인시던트는 무엇이며 그 이유는 무엇입니까? 이 질문은 사각지대를 찾습니다. 사용자가 본 것을 살피세요. 여정의 가장자리에 공백이 있을 것으로 예상됩니다. 더 깊이 들어가려면, 추가할 사용자 대상 점검 하나를 고르세요.

지난달 온콜 담당자가 받은 알림은 몇 건이며, 조치가 필요했던 것은 몇 건이었습니까? 함께 세어 보세요. 아무도 모른다면 그것이 발견입니다. 실행 가능한 알림의 비율이 낮을 것으로 예상됩니다. 더 깊이 들어가려면, 가장 시끄러운 알림 다섯 개를 고르고 각각의 운명을 결정하세요.

우리가 무시하는 알림은 무엇이며, 삭제하면 어떻게 됩니까? 알림을 무시하는 것은 피로의 신호입니다. 각각이 마지막으로 중요했던 때를 물으세요. 더 깊이 들어가려면, 검토 날짜를 두고 하나를 삭제하거나 강등하세요.

누가 무엇 때문에 잠을 깨며, 모두가 깨울 가치가 있다고 동의합니까? 호출 기준에 합의하세요. 유용한 불일치가 예상됩니다. 더 깊이 들어가려면, 한 문단의 규칙을 쓰고 한 달 동안 시험해 보세요.

모니터링 자체가 작동을 멈추면 어떻게 알겠습니까? 이 질문은 메타 모니터링을 시험합니다. 침묵이나 모호한 답이 예상됩니다. 더 깊이 들어가려면, 하트비트 점검이나 일일 테스트 알림을 추가하고 누가 지켜볼지 합의하세요.

우리는 AI가 알림으로 무엇을 하기를 원하며, 무엇이 사람의 결정으로 남아야 합니까? AI는 알림을 묶고, 원인을 제안하고, 맥락을 요약할 수 있습니다. 실제 알림을 억제할 수도 있습니다. 어떤 조치에 승인이 필요한지 물으세요. 더 깊이 들어가려면, 묶기와 요약으로 제한하고 숨긴 것을 검토하는 시범 운영을 고르세요.

실제 적용: 서비스 관리 사례

한 지역 공항의 운영 기술 팀은 수하물 처리, 체크인 시스템, 항공편 정보 디스플레이를 모니터링합니다. 여섯 명의 팀은 하루에 약 400건의 알림을 받습니다. 온콜 직원들은 알림을 슬쩍 보고 대부분 음소거한다고 말합니다. 지난달 터미널의 네트워크 스위치 고장이 승객들이 디스플레이가 비어 있다고 불평할 때까지 40분 동안 알아채지 못했습니다.

팀 리드는 일주일을 들여 데이터를 살핍니다. 하루 400건의 알림 중 약 350건이 12개의 규칙에서 나오는데, 스스로 정리하는 장치의 디스크 경고나 사용하지 않는 포트의 인터페이스 플랩 같은 것입니다. 사람의 조치가 필요한 것은 하루에 약 15건뿐입니다. 리드와 팀은 세 가지 변경에 합의합니다. 시끄러운 12개 규칙을 삭제하거나 일일 보고서로 강등합니다. 각 터미널에서 매분 디스플레이 페이지와 체크인 화면을 로드하여 연속 두 번 실패하면 호출하는 합성 점검 두 개를 추가합니다. 그리고 고장 난 스위치가 백 개의 알림이 아니라 영향을 받는 디스플레이를 명시한 알림 하나를 만들도록 상관 분석을 설정합니다.

다음 달 온콜 알림은 하루 약 20건으로 줄고, 다음 스위치 고장은 영향을 받은 터미널을 나열한 하나의 호출로 3분 안에 감지됩니다. 주간 검토에서 팀은 상관 분석으로 억제되어서는 안 되었던 알림 하나를 발견하고 규칙을 바로잡습니다.

달라진 점은 사람들이 호출을 신뢰하고 대응한다는 것입니다. 여전히 어려운 점은 수하물 처리 벤더의 장비가 팀이 필터링할 수 없는 형식으로 자체 알림을 보내 일부 소음이 남는다는 것, 일부 야간 근무 직원은 일일 보고서가 읽히지 않을까 걱정한다는 것, 모니터링 시스템 자체가 실패하면 어떻게 되는지 아직 아무도 시험하지 않았다는 것입니다. 리드는 훈련을 일정에 잡고 일일 테스트 알림을 추가합니다.

네 가지 관점

제품 및 전달 팀

신호를 내장하세요. 의미 있는 메트릭, 로그, 트레이스와 사용자 여정을 반영하는 상태 점검입니다. 알림과 함께 런북을 쓰세요. 각 릴리스의 영향을 지켜보세요.

서비스 및 운영 팀

알림의 질을 소유하세요. 가장 시끄러운 알림을 매주 검토하고, 사람들을 과부하로부터 보호하고, 모든 호출에 조치가 있는지 확인하세요. 알림이 거치는 경로를 시험하세요.

리더십과 거버넌스

모니터의 수가 아니라 실행 가능한 알림의 수를 요청하세요. 시끄러운 알림을 고칠 시간에 재원을 대세요. 업무 시간 외의 반복되는 호출을 직원과 품질에 대한 비용으로 다루세요.

고객과 사용자

여러분이 알아채기 전에 제공자로부터 문제를 듣고 무엇이 영향을 받는지 들어야 합니다. 보이는 것을 시각과 함께 보고하고, 모니터링이 놓친 곳을 제공자에게 알리세요.

애자일, AI, 자동화, 분석

애자일

알림과 대시보드를 제품의 일부로 다루세요. 각 인시던트와 릴리스 후 작은 단계로 개선합니다. 대응하는 사람들과 검토하세요. 주의: 오래된 것을 제거하지 않고 새 기능마다 모니터를 추가하면 소음이 늘어납니다.

AI

AI는 정상 패턴을 학습하고, 관련 알림을 묶고, 가능한 원인을 제안하고, 알림 폭풍을 요약할 수 있으며, 책임자와 사람의 결정이 따릅니다. 과거 인시던트로 시험하세요. 주의: 알림을 억제하는 모델은 드물지만 실제인 장애를 숨길 수 있으므로, 무엇을 억제했고 무엇을 놓쳤는지 측정하세요. 주제 5.2 — AIOps를 참조하세요.

자동화

실패하는 프로세스를 재시작하는 것 같은 잘 이해된 이벤트에 대한 대응과 알림의 배분 및 보강을 한도와 로그와 함께 자동화하세요. 주의: 무한히 재시도하는 자동 복구는 실패하는 시스템을 가리거나 악화시킬 수 있으므로, 속도 제한과 에스컬레이션을 추가하세요. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.

분석

알림 양, 실행 가능했던 비율, 확인까지의 시간, 사용자가 아닌 모니터링이 감지한 인시던트를 추적하세요. 주의: 알림 수만으로는 아무것도 울리지 않을 때까지 임계값을 올려 조작될 수 있으므로, 인시던트와 대조해 확인하세요. 주제 7.4 — 관측 가능성과 텔레메트리와 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.

흔한 실패 유형

  • 모든 것에 알림. 사람들이 채널을 음소거합니다. 증상에 알림을 걸고 나머지는 제거하세요.
  • 조치 없는 알림. 대응자가 무엇을 해야 할지 모릅니다. 런북에 연결하거나 알림을 삭제하세요.
  • 고정 임계값만. 바쁜 시간에 거짓 경보가 납니다. 시간 인식이나 기준선 방법을 신중하게 쓰세요.
  • 사용자가 먼저 앎. 사용자 대상 점검에 공백이 있습니다. 합성 및 실제 사용자 모니터링을 추가하세요.
  • 메타 모니터링 없음. 모니터링이 조용히 실패합니다. 하트비트와 훈련을 추가하세요.
  • 대시보드 난립. 아무도 보지 않습니다. 결정을 뒷받침하는 몇 개만 유지하세요.
  • 불투명한 모델 신뢰. 대응자가 그것이 무엇을 했는지 설명할 수 없습니다. 규칙과 논리를 검토할 수 있게 유지하세요.

성숙도 모델

영역 시작 발전 표준화 관리 오케스트레이션
알림 설계 모든 임계값이 알린다 일부 핵심 알림 런북이 있는 증상 기반의 실행 가능한 알림 알림의 질을 측정하고 매주 검토한다 알림을 서비스 전반에 적응시키고 상관 분석한다
범위 서버뿐이다 일부 애플리케이션 사용자 여정을 합성으로, 실제 사용자 데이터로 점검한다 인시던트 후 범위를 검토한다 자산과 공급자 전반에 범위가 일관된다
소음 압도적이다 인식하고 있다 양을 제한하고 검토한다 소음을 측정하고 줄고 있다 감독 아래 상관 분석과 자동화로 소음을 관리한다
대응 수작업 팀에 호출한다 에스컬레이션과 함께 배분된다 대응 시간을 추적한다 사람의 통제 아래 안전한 조치를 자동화한다

체크리스트

  • 알림이 사용자가 느끼는 증상에 기반한다.
  • 모든 알림에 정의된 조치와 연결된 런북이 있다.
  • 교대당 온콜 알림 양을 측정하고 제한한다.
  • 가장 시끄러운 알림을 매주 검토한다.
  • 핵심 사용자 여정에 합성 점검이 있다.
  • 관련된 알림을 상관 분석한다.
  • 알림이 사람에게 닿는지, 모니터링 실패가 감지되는지 시험한다.
  • 알림에 대해 행동하는 AI나 자동화에 책임자, 한도, 검토가 있다.

AI 프롬프트

시끄러운 알림의 순위를 매깁니다.

Here is a list of alert rules with the number of times each fired last month and how many led to action: [paste].
Rank them by number of non-actionable firings, list the top ten, and give one question per rule to ask about whether to remove, change, or keep it. Do not recommend deleting any.
List what you are unsure of.

알림의 문구 초안을 작성합니다.

The situation to alert on: [describe]. Who acts: [role]. The first checks they should make: [list].
Draft an alert title (under 80 characters) and a body (under 80 words) that says what is wrong, what users may be experiencing, and the first step, with a link placeholder for the runbook. Do not speculate about causes.
List what you are unsure of.

상관 분석 규칙을 시험합니다.

Here is a correlation rule: [describe]. Here is a list of recent events with timestamps and sources: [paste].
List which events the rule would group, which it would suppress, and any case where a real separate problem could be hidden. Do not propose a new rule.
List what you are unsure of.

AI 스킬

  • runbook: 각 알림에 따르는 조치를 쓸 때 사용합니다.
  • anomaly-analysis: 메트릭의 이례적인 패턴을 살필 때 사용합니다.
  • key-risk-indicators: 일찍 경고하는 지표를 고를 때 사용합니다.
  • on-call-rotation: 지속 가능한 온콜 체계를 설계할 때 사용합니다.

주요 출처

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring distributed systems, free at sre.google.
  • Rob Ewaschuk, "My Philosophy on Alerting" (2013): 증상 기반 알림에 대한 잘 알려진 짧은 에세이.
  • Wikipedia, "Alarm fatigue" and "Observability (software)": 핵심 생각의 개관.
  • PeopleCert, ITIL certification pages: 모니터링 및 이벤트 관리 프랙티스에 대한 소유자의 설명.

참고 문헌

  1. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  2. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  3. Application performance management — Wikipedia — https://en.wikipedia.org/wiki/Application_performance_management
  4. Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
  5. Log management — Wikipedia — https://en.wikipedia.org/wiki/Log_management
  6. Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
  7. Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
  8. Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
  9. Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
  10. Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
  11. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/